On ne présente plus la chercheuse et ethnographe américaine danah boyd (Wikipédia, @zephoria) dont nous avons souvent relayé les propos sur InternetActu.net comme sur A lire ailleurs.

A l’occasion d’une conférence donnée récemment, dont elle a publié le transcript sur son site, elle posait la question du monde que nous fabriquons avec les technologies et y apportait des réponses qui méritent d’être écoutées.

.@UCCMediaJustice Parker Lecture by Danah Boyd of @datasociety Research Institute on racial disparities @mmtconline pic.twitter.com/UBDzvwlYVH

— Maurita Coley (@MauritaColey) 20 Octobre 2015

Image : danah boyd durant sa conférence donnée à l’UCCMediaJustice, photographié par @MauritaColey via Twitter.

La technologie encapsule la complexité du monde

La chercheuse rappelle tout d’abord que pour elle, l’internet était un « portail vers la complexe société interconnectée dans laquelle nous vivons ». « Je regardais les activistes utiliser la technologie comme un levier pour connecter les gens d’une manière nouvelle, alors que les gens du marketing utilisaient ces mêmes outils pour manipuler les gens pour gagner de l’argent. J’ai arrêté de croire alors que la technologie seule pourrait produire l’illumination ». « A mesure que les outils sont devenus plus populaires et se sont répandus, ce qui était en jeu n’était pas la réalisation des désirs idylliques des premiers développeurs, mais une complexité de pratique qui ressemblait plutôt au bordel de la vie quotidienne. »

C’est lors d’un entretien avec une adolescente que danah boyd réalise combien la technologie n’est pas neutre. Celle-ci lui montre qu’alors que les jeunes migrent vers Facebook, MySpace devient un ghetto pour les amateurs de rap. Les blancs utilisent Facebook, les noirs MySpace. Entre 2006 et 2007, la division sociale avait séparé les communautés adolescentes en ligne, reproduisant les divisions sociales en cours dans écoles, explique danah boyd. Dans notre société qui se disait post-raciale, les relations sociales et les dynamiques étaient toujours configurées par ce modèle. MySpace était devenu un endroit dangereux rempli de personnes peu recommandables, alors que Facebook était dépeint comme un site propre et respectable. Aidé par l’argent, les médias et les utilisateurs privilégiés, Facebook est devenu le joueur dominant qui a attiré tout le monde. « Les divisions raciales se déplaçaient dans la technologie », comme c’est encore le cas avec Vine et Instagram. « Les adolescents ne créaient pas la dynamique racialisée des médias sociaux : ils reproduisaient ce qu’ils ont vu partout ailleurs en le projetant sur leurs outils. » Ils ne sont pas les seuls. Les journalistes, les parents, les politiciens, les experts le font également. « Et la technologie aujourd’hui est évaluée – culturellement et financièrement – non pas sur le nombre de gens qui les utilisent, mais sur le fait qu’elles soient utilisées par les membres les plus privilégiés de notre société. »

Les systèmes socio-techniques sont notre propre reflet

Personne n’avait vraiment vu venir le succès des médias sociaux ou du Big data, reconnaît avec modestie la chercheuse. Les Big data sont un concept flou, explique-t-elle. Il promet de pouvoir résoudre tous les problèmes du monde par les données. Le problème d’ailleurs n’est pas tant d’avoir les données que de savoir si nous avons la capacité de donner et produire du sens depuis elles. Le problème des technologies d’analyses de données repose pourtant sur les données. « Quand vos données d’entrée sont biaisées, ce que vous en sortez est tout aussi biaisé. Ces systèmes apprennent les préjugés de notre société. Et nous les recrachent à la figure. » Et la chercheuse d’évoquer le travail sur la discrimination électronique Latanya Sweeney, notamment sur la discrimination raciale dans la publicité en ligne, montrant que les prénoms les plus corrélés à la communauté noir Américaine tendaient à servir des publicités pour savoir si les personnes recherchées avaient un casier judiciaire. Or, le service publicitaire de Google n’est pas intentionnellement raciste. Il ne fait que servir des publicités selon les requêtes quand une requête ou la population qui la commet a des caractéristiques similaires. Google ne devient raciste que parce que ses utilisateurs le sont.

« Nos préjugés culturels sont profondément ancrés dans de nombreuses bases de données, ces ensembles de données que nos systèmes utilisent pour apprendre de nous. Les étudiants de couleur sont beaucoup plus susceptibles d’avoir des dossiers scolaires disciplinaires que les étudiants blancs. Les hommes noirs sont beaucoup plus susceptibles d’être arrêtés et fouillés, d’être arrêtés pour possession de drogue, ou accusés de crimes, même lorsque leurs homologues blancs s’engagent dans les mêmes comportements. Les personnes pauvres sont beaucoup plus susceptibles d’avoir des problèmes de santé, de vivre plus loin de leur travail, d’avoir des problèmes pour devenir locataires… Pourtant, toutes ces données sont utilisées pour alimenter les algorithmes d’apprentissage personnalisés, des outils d’évaluation des risques pour la prise de décision judiciaire, des outils de crédit et des outils pour déterminer les scores d’assurance. C’est ainsi que le système « prédit » que les gens qui sont déjà marginalisés ont des risques plus élevés de l’être, ce qui restreint leurs options et induits, qu’ils deviennent, en effets, une population à risque. »

Ce ne fut pas ce que mes pairs ont voulu créer lorsqu’ils ont imaginé des outils permettant de cartographier ceux que vous connaissiez, ou de partager vos intérêts et vos goûts. Nous n’avons pas cherché à être l’architecte du préjudice, mais nous n’avons pas non plus conçu des systèmes pour lutter contre cela. »

Ce n’est pas l’analyse des données qui est inquiétante, c’est la façon dont elle est utilisée et par qui

Pourtant, explique encore l’anthropologue, l’enjeu n’est pas de rejeter le Big data. Au contraire, explique celle qui est au conseil d’administration de Crisis Text Line, un service de prévention du suicide par SMS (voir notre article « De la prévention du suicide en ligne ») permettant via le Big data de traiter des millions de messages pour personnaliser chaque réponse de conseillers à l’adolescence en danger. Or, Crisis Text Line utilise les mêmes techniques que celles utilisées par le marketing ou la police prédictive. Le problème explique-t-elle est que « la surveillance par des acteurs puissants ne peut pas instaurer la confiance. Elle l’érode. » L’information sur les gens qui s’apprêtent à commettre un délit n’est pas la même selon qu’elle est envoyée à la police ou à un travailleur social. « Ce ne sont pas tant les données qui sont inquiétantes, mais c’est la façon dont elles sont utilisées. Et par qui ».

« Savoir comment utiliser les données n’est pas si facile ». Eric Horvitz, un collègue de danah boyd chez Microsoft Research, est capable de prédire avec une précision surprenante si quelqu’un va être hospitalisé en fonction de ce qu’il recherche en ligne. « Que doit-il faire de cette information ? » L’important n’est pas tant la qualité de nos prédictions, mais de trouver comment les utiliser. Or, « comment les utiliser est un problème social et culturel complexe que la technologie ne résout pas pour nous. Pire, la technologie rend plus difficile d’avoir une conversation raisonnée sur le pouvoir, la dignité, la responsabilité et l’éthique. »

« Les données sont le pouvoir. Et de plus en plus, les données sont utilisées pour affirmer le pouvoir de certains sur d’autres. Cela ne devrait pas être ainsi, mais une chose que j’ai apprise est que, sans contrôle, de nouveaux outils sont toujours utilisés pour renforcer le pouvoir des privilégiés au détriment de ceux qui ne le sont pas. »

Si nous voulons que les gens les moins privilégiés soient informés et responsabilisés, ils doivent avoir accès à la même qualité d’information et de communication que les privilégiés, estime danah boyd.

La responsabilité de l’usage

Or nous sommes confrontés à un nouveau défi. « Nous entrons dans un monde de prédiction. Un monde où de plus en plus de gens vont être en mesure de porter des jugements sur les autres sur la base de données. » De nombreux militants s’activent à combattre et réguler ce nouvel écosystème de la prédiction. C’est très bien quand ces technologies sont conçues pour faire le mal. Mais le plus souvent ces outils seront conçus pour être utiles, pour accroître l’efficacité, pour identifier les personnes qui ont besoin d’aide. Ils pourront être à la fois utilisé pour faire le bien et pour être terrifiants. Comment pouvons-nous apprendre à utiliser ces informations pour responsabiliser ?

Pour danah boyd, le problème est que la diversité des gens qui construisent, financent et utilisent ces outils pour imaginer notre avenir est extraordinairement réduite. Pour elle, l’enjeu est d’élargir la diversité d’approche du développement comme de l’usage de ces technologies. « Si les gens ne comprennent pas ce que ces systèmes font, comment pouvons-nous espérer que les gens les contestent ? »

« Nous devons apprendre comment poser des questions technologiques difficiles à ceux qui prennent des décisions basées sur leurs analyses. Il n’y a pas si longtemps, lorsque les systèmes financiers étaient de totales boites noires, nous nous sommes battus pour la responsabilité fiduciaire et contre la corruption et les abus. La transparence des données, des algorithmes et de la technologie ne suffit pas. Nous devons nous assurer que l’évaluation est intégrée dans tout système que nous utilisons. Nous ne pouvons pas simplement mettre des millions de dollars de matériel de surveillance dans les mains de la police dans l’espoir de créer une police responsable. Pourtant, avec les caméras de corps portés par la police, n’est-ce pas exactement ce que nous faisons ? – voir notre article, NDT. Et ce, sans même essayer d’en évaluer les implications. Nous sommes là, probablement, face au plus rapide déploiement d’une technologie d’espérance, mais ce ne sera pas la dernière. Comment pouvons-nous aider les gens à regarder au-delà de leurs espoirs et de leurs craintes pour interroger activement les compromis que la société fait pour eux ? »

De plus en plus, la technologie va jouer un rôle central partout. Nous pouvons hurler aux loups où rêver d’un monde dans lequel chaque problème se résout comme par magie. « Mais pour réellement faire du monde un endroit meilleur, nous devons commencer à prêter attention aux différents outils qui émergent et apprendre à poser des questions difficiles sur la façon dont ils devraient être mis en service pour améliorer la vie des gens ordinaires. Maintenant plus que jamais, nous avons besoin de ceux qui réfléchissent à la justice sociale pour comprendre la technologie et nous avons besoin que ceux qui comprennent la technologie s’intéressent à la justice sociale. »

Hubert Guillaud