Si les annonces de moratoires dans le domaine de la reconnaissance faciale semblent soulager un certain nombre de ses opposants, il ne fait aucun doute que ces réponses des grandes entreprises de la technologie demeurent manifestement des décisions commerciales calculées et limitées qui répondent avec plus ou moins de sincérité à la pression publique du moment et aux très fortes mobilisations contre le racisme et les violences policières qui secouent les États-Unis depuis la mort de George Floyd le 25 mai 2020. Comme s’en émeut la Quadrature du Net (@laquadrature), ces décisions ne cherchent qu’à temporiser un moment difficile pour les entreprises, face à une pression publique devenue explosive, à l’heure où les Américains se soulèvent massivement contre le racisme. « Les grandes entreprises de la sécurité ne sont pas des défenseuses des libertés ou encore des contre-pouvoirs antiracistes. Elles ont peur d’être aujourd’hui associées dans la dénonciation des abus de la police et de son racisme structurel. » Les grandes entreprises du numérique ont déjà été épinglés pour les biais racistes et sexistes de nombre de leurs outils, notamment pour les plus évidents d’entre, ceux qui relèvent de la reconnaissance faciale. En annonçant mettre en pause l’utilisation de certains de leurs outils, ces entreprises tentent de redorer leur image alors qu’elles n’ont cessé, ces dernières années, de convaincre les autorités de se servir de leurs outils pour faire régner l’ordre. En acceptant de faire de la reconnaissance faciale un épouvantail, les Gafams n’en continuent pas moins de proposer des outils de surveillance et d’aide à la prise de décision toujours plus invasifs… et profondément discriminatoires.

La surveillance contribue-t-elle au bien-être humain ?

L’éditorialiste et chercheur au laboratoire de recherche des technologies émergentes de l’université Monash, Jathan Sadowski (@jathansadowski), dresse le même constat dans une tribune pour OneZero. Pour l’auteur de Too Smart, un livre récent particulièrement critique des technologies, ces timides renoncements sont loin de « démanteler la machine de guerre urbaine » que ces entreprises mettent en place. Caméras omniprésentes, algorithmes prédictifs, systèmes intelligents… les technologies de la ville « intelligente » n’ont pas leur place dans une société qui rejette l’oppression, estime-t-il. Cette intelligence qu’il faut entendre surtout en son sens anglais de « renseignement », tient plus d’un travail de police donc que d’une quelconque faculté à comprendre, comme le faisait remarquer le philosophe et historien des sciences Michel Blay dans Penser ou cliquer.

Pour Sadowski, nous pouvons profiter de cet hapax, de ce moment de contestation d’une surveillance toujours plus armée par la technologie, pour chercher à démanteler les mécanismes de maintien de l’ordre qui s’inscrivent désormais dans l’infrastructure technologique. « Pensez-y selon les modalités que propose Marie Kondo (la papesse du rangement), mais pour les technologies : est-ce que ce service contribue au bien-être humain ou au bien-être social ? Si ce n’est pas le cas, jetez-le ! »

Les activistes et universitaires qui s’inquiètent de la surveillance invasive peuvent certes se féliciter de ces timides avancées… mais ne peuvent pas pour autant se reposer, tant les chantiers à déminer sont nombreux. Pour Sadowski, il est nécessaire à présent de démanteler l’infrastructure de surveillance. Il ne nous faut pas trouver de meilleures pratiques pour l’utilisation éthique de technologies spécifiques, ni faire une pause le temps que la colère se calme, ni vendre la reconnaissance faciale à tout le monde autre que la police… Ces solutions laissent en place un système de contrôle devenu « trop dangereux, trop expansif et trop puissant ». Une grande partie des technologies qui alimentent la surveillance et le maintien de l’ordre n’auraient jamais dû être créées souligne-t-il, rappelant que l’interdiction d’une technologie est plus facile à atteindre que leur régulation policée et complexe. On peut certes définancer la police, comme le réclament les militants antiracistes américains, mais si ses valeurs et sa vision ne se modifient pas, son pouvoir demeure. Pour l’instant, plusieurs villes et États américains ont annoncé des mesures pour limiter le financement de la police et améliorer ses pratiques, rapporte Le Monde. Reste, qu’« il ne suffit pas de rendre la reconnaissance faciale illégale pour que son héritage infrastructurel disparaisse », disait le chercheur Os Keyes (cf. « Interdire la reconnaissance faciale »). Comme le souligne une remarquable synthèse de France Info sur le sujet, le coût du maintien de l’ordre aux États-Unis a triplé en quarante ans, à la fois du fait de sa militarisation et de son suréquipement, mais aussi parce que ses missions n’ont cessé de s’élargir, au détriment notamment des programmes sociaux.

Alors que le définancement de la police semblait inenvisageable il y a encore quelques semaines, l’option devient soudainement possible, malgré les récriminations des opposants conservateurs qui agitent le danger d’une hausse de la criminalité.

Exiger des réponses non policières aux problèmes de société

Alors que dans son très récent livre, Sadowski soutenait qu’il serait difficile de démolir l’infrastructure de surveillance de la planète, cette proposition semble bien moins radicale aujourd’hui qu’hier. Alors que les revendications pour un monde meilleur ouvrent de nouvelles possibilités, il est peut-être temps d’y répondre, soutient-il. Nous devons défaire non pas pour défaire, mais parce que c’est seulement ainsi que nous pourrons commencer à construire un monde nouveau sur les ruines de l’ancien, souligne Sadowski. La décision de dissoudre le service de police de Minneapolis montre que la marche du monde n’est pas immuable. Si les institutions peuvent être abolies, alors les infrastructures peuvent aussi être démantelées. « Les entreprises qui ont profité de ces technologies et les gouvernements qui les ont utilisées contre le public n’ont aucune autorité morale pour nous dire ce qu’il faut garder et ce qu’il faut jeter. »

Le démantèlement passe par la suppression des budgets qui maintiennent cette vaste infrastructure de police et par l’annulation de contrats lucratifs avec des sociétés de surveillance (comme Palantir, Ring, Clearview AI… pour ne citer que les plus connues). Les personnes visées par ces infrastructures de surveillance devraient d’ailleurs se voir offrir des emplois pour les démanteler. « Plutôt que d’austérité pour les écoles et les services sociaux, nous avons besoin d’austérité pour la surveillance et le contrôle social ». Pour le professeur de sociologie Alex Vitale (@avitale), auteur de La fin de la police (2017, Verso Books, non traduit), l’enjeu n’est pas tant de demander des réformes de la police que d’exiger des réponses non policières aux problèmes de société, explique-t-il au Guardian.

Pour le New York Times, Kevin Roose, revient sur les annonces et les dons qu’ont proposés les grands entrepreneurs de la Tech aux organisations antiracistes américaines, suite à la résurgence du mouvement Black Lives Matter (@blklivesmatter). « Le problème est que si ces manifestations de soutiens étaient bien intentionnées, elles ne tenaient pas compte de la façon dont les propres produits de ces entreprises – Facebook, Twitter et YouTube notamment – ont été utilisés avec succès par des racistes et des provocateurs partisans, et sont utilisés pour saper Black Lives Matter et d’autres mouvements de justice sociale. C’est comme si les dirigeants de McDonald’s, Burger King et Taco Bell s’étaient unis pour lutter contre l’obésité en faisant des dons à une coopérative alimentaire végétalienne, plutôt qu’en diminuant le nombre de calories de leurs produits », ironise Roose. Or, 7 des 10 messages Facebook les plus partagés contenant l’expression « Black Lives Matter » au cours du mois dernier ont critiqué le mouvement, selon les données de CrowdTangle, une plateforme d’analyse des données échangées sur Facebook appartenant à Facebook. Si les médias sociaux ont aidé Black Lives Matter simplement en permettant aux victimes de violences policières de se faire entendre, ces plateformes sont loin d’être de simples « mégaphones ». Si les plateformes de la Silicon Valley veulent vraiment aider ces mouvements, souligne Roose, elles doivent inspecter et corriger plus profondément leurs caractéristiques, notamment quand elles sapent ces mouvements de justice sociale qu’ils prétendent soutenir. Or, ce n’est pas vraiment ce que l’on constate, tant elles peinent à corriger leurs effets. Récemment, le Wall Street Journal a rapporté qu’une étude interne de Facebook en 2016 a révélé que 64 % des personnes qui ont rejoint des groupes extrémistes sur la plateforme l’ont fait parce que les algorithmes de recommandation de Facebook les y ont poussés. Au final, on a surtout l’impression d’assister à un « Black Power-washing » de nombre d’entreprises technologiques, s’énerve Chris Gilliard sur FastCompany, à l’image de Nextdoor, la plateforme de voisinage, qui a exprimé sa solidarité avec le mouvement Black Lives Matter, alors que son modèle économique repose sur un racisme endémique. Les messages hypocrites sur les réseaux sociaux ne suffiront pas !

Pour Rashad Robinson, le président de Color of Change (@ColorOfChange), un groupe de défense des droits civiques qui conseille les entreprises technologiques sur les questions de justice raciale, les leaders technologiques devaient appliquer les principes antiracistes à la conception de leurs propres produits, plutôt que de simplement exprimer leur soutien à Black Lives Matter. Et celui-ci d’inviter les plateformes à modifier leurs systèmes de recommandation ou à instituer un intéressant « plafond viral » sur les messages…

No more data Weapons !

La mobilisation des organisations de défense des droits civiques se structure autour de revendications plus radicales à l’égard des technologies, qu’on ne pensait pas envisageables il y a encore quelques mois. La NAACP (National Association for the Advancement of Colored People, une organisation historique de défense de droits civiques) et la Ligue contre la diffamation ont lancé une campagne pour inviter les annonceurs à boycotter les publicités sur Facebook, sous le titre Stop Hate for Profit, rapporte Vox (et qui semble être de plus en plus suivi, rapportent le New York Times comme The Guardian). Un autre collectif, Data for Black Lives (@data4blacklives, créé en 2016 et fort de 4000 adhérents, répartis en antennes locales à travers tous les États-Unis), souhaite que les données soient « un outil pour le changement social plutôt qu’une arme d’oppression politique » et dénonce leurs effets sous les slogans #nomoredataweapons et #abolishbigdata (« plus d’armes de données » et « abolir le big data »). Pour sa fondatrice, Yeshimabeit Milner (@yeshican), le big data vise à accomplir les objectifs militaristes et coloniaux que remplissaient jusqu’alors les fusils et les armes utilisées à l’encontre de la communauté noire. Abolir les big data consiste à supprimer la reconnaissance faciale, la collecte de données biométriques, les évaluations de crédit, les évaluations de risque… Désormais, « la discrimination est une entreprise de haute technologie », avance-t-elle. Pour Yeshi Milner, l’enjeu n’est pas d’abolir les données, car elles sont des leviers puissants du changement social, mais bien de démanteler et réimaginer les industries qui les détiennent et les concentrent. Le but n’est pas d’abandonner l’usage des données, mais bien de faire cesser le système punitif et violent qui l’accompagne. Le big data est devenu « un régime idéologique » qui a façonné une nouvelle légitimité au contrôle social et politique et a trouvé des moyens d’utiliser le numérique pour le retourner contre les gens.

L’histoire du big data remonte bien avant les premiers ordinateurs, rappelle-t-elle. Dès l’origine, les chiffres ont été instrumentés dans un objectif de comptabilité et de surveillance, de contrôle et de punition, au profit de l’économie et notamment d’une de ses formes, le colonialisme, comme le raconte l’historienne Caitlin Rosenthal (@cc_rosenthal) dans son livre Accounting for Slavery : Masters & Management (2018, Harvard University Press, non traduit). Les données et les processus de reporting standardisés ont été utilisés pour asseoir le commerce triangulaire et pour distancier dans et par les chiffres la réalité des violences commises. Tout comme les algorithmes, le big data a un héritage historique qu’on ne doit pas nier (à l’image des relations historiques et profondes entre l’Intelligence artificielle et l’extrême droite que dénonçait récemment Sarah Myers West (@sarahbmyers) de l’AI Now Institute). Les codes postaux sont devenus les artefacts des politiques ségrégationnistes (ou « redlining ») : ces données qui masquaient leurs enjeux politiques sous couvert d’une distribution plus efficace du courrier ont littéralement étiqueté des communautés comme dangereuses (74 % des communautés qualifiées de « dangereuses » en 1933 sont aujourd’hui encore les communautés les plus incarcérées, les plus policées et les moins bien dotées en ressources des États-Unis). « Une banque, une application universitaire, un algorithme d’évaluation utilisé par les médecins pour déterminer qui reçoit des soins, une évaluation des risques qui détermine votre peine de prison, ou un système de surveillance n’ont pas besoin de connaître votre race, tant qu’ils ont votre code postal. Ces grands systèmes de données ont prolongé la durée de vie des politiques publiques archaïques, racistes et agressives du passé. »

Pour Yeshi Milner, faire du big data un outil de changement social nécessite un changement de culture. Il consiste à refuser la programmation telle qu’elle nous est imposée. À fonder des alliances multiraciales, multigénérationnelles et interdisciplinaires pour créer de nouveaux modèles. À créer de nouvelles normes pour les entreprises technologiques en renforçant la pression politique à leur encontre. Il s’agit enfin d’apporter aux personnes directement concernées les moyens pour mener leur combat. « Nous avons besoin d’optimiser non pas les injustices du passé, mais au contraire, l’équité et la solidarité de demain ! »

L’association a d’ailleurs récemment publié un rapport sur l’usage de données dans le cadre de la pandémie du Covid-19, qui rejette l’usage des données liées à la pandémie pour la police, la surveillance, le contrôle, le refus de crédit ou le ciblage des communautés noires.

D’autres protestations se développent, à l’image de celle menée par la « coalition pour des technologies critiques » (@forcriticaltech), un ensemble de près de 2000 chercheurs qui souhaitent abolir le pipeline de données qui mène de la technologie à la prison. Ces chercheurs s’opposent très concrètement à une publication ouvertement phrénologique de l’éditeur Springer, utilisant la reconnaissance faciale pour prédire la criminalité depuis les traits d’un visage. Mais derrière cette action spécifique, les chercheurs réclament que les données générées par le système de justice criminel américain ne soient plus utilisées pour identifier des criminels ou prédire des comportements criminels. Et pointent que la question technique de l’éthique et de l’équité détourne l’attention des questions fondamentales de validité d’un algorithme.

Définancer la police !… Au risque de l’ubériser ?

Pour OneZero, le journaliste et romancier Tim Maughan (@timmaughan), prévient néanmoins… définancer la police ne consiste pas à la remplacer par toujours plus de technologies de surveillance. La discussion en cours sur le financement de la police américaine est stimulante, estime Maughan, mais le risque de laisser la place aux entreprises technologiques est réel. À Camdem, une ville américaine souvent citée en exemple ces derniers temps parce qu’elle a réduit depuis plusieurs années son budget alloué à la police et a développé une police de proximité, de nombreux systèmes de surveillance ont été mis en place (caméras de surveillance, surveillance par microphones, caméra thermique, système de police prédictive…) au profit de sociétés privées… Derrière le définancement de la police, le risque est que se développe son ubérisation. Pour Maughan, les annonces de grandes entreprises technologiques de ne plus proposer leurs outils de surveillance à la police, ne les engage pas envers d’autres entreprises privées qui collaborent avec elle, voire s’y substituent.

Le problème inhérent à la surveillance, comme le montrait le spécialiste de la sécurité Chris Gilliard (@hypervisible), c’est qu’elle étend sans cesse le niveau d’infraction et le recours à la police. La police devient le recours pour toutes les difficultés quotidiennes, alors qu’on pourrait tout à fait promouvoir d’autres formes de réponses, comme l’intervention des services sociaux quand il y a des problèmes avec des SDF dans les rues… Pour Maughan, ces enjeux nécessitent de mieux définir ce qui relève du maintien de l’ordre, afin de ne pas ériger de nouvelles structures oppressives en démantelant les anciennes.

Sur Jurist.org, la professeure de droit, Sarah Lamdan (@greenarchives1), qui prépare un livre intitulé Data Cartels, appelle également à démanteler le « big data policing ». Le big data provient principalement des grands courtiers de données qui fournissent la police comme les services de technologies policières (ainsi que l’essentiel des services commerciaux). Ces services couplés aux innombrables services de données policiers mettent en place une gigantesque infrastructure de surveillance qui menace les libertés de « boucles de rétroaction racistes » perpétuant les préjugés de la société et reposant sur des données perclus d’erreurs, dont elle pointe les innombrables dysfonctionnements. Ces utilisations de données, au final, visent surtout à contourner les lois et les réglementations en matière de protection des données personnelles en confiant à des services privés des enjeux de politiques publiques. Pour Hamid Khan, fondateur de la coalition pour arrêter la surveillance de la police de Los Angeles (@stoplapdspying), « les algorithmes n’ont pas leur place dans le maintien de l’ordre », explique-t-il dans une riche interview pour la Technology Review. Si la ville de Los Angeles a annoncé depuis mettre fin à tous ses programmes de police prédictive, cela n’a pas entamé les convictions et les combats d’Hamid Khan. Pour cet activiste abolitionniste, chaque fois que la surveillance est légitimée (que ce soit en proposant des contrôles par la transparence ou la responsabilité), elle est en fait étendue. D’où sa revendication pour un démantèlement de Predpol, un des systèmes de police prédictive particulièrement décrié. Pour lui aussi, la police basée sur la localisation est un substitut du racisme. Comment peut-on alors envisager de réformer ces outils ? Existerait-il un « racisme plus doux et plus gentil » pour guider ces réformes ? Lui aussi dénonce l’expansion structurelle des pouvoirs de police au détriment notamment du travail social. À Los Angeles, sur les 100 millions de dollars affectés par la ville aux sans-abri, 87 millions vont à la police !

Sortir de la logique du contrôle ?

Pourtant, réaffecter une part de budgets de la police aux programmes sociaux n’est pas sans créer de nouveaux problèmes, estime la chercheuse Dorothy Roberts (@dorothyeroberts) dans Chronicle of Social Change. Les systèmes sociaux ne sont pas toujours plus vertueux que le système de justice pénale, rappelle-t-elle : eux aussi sont souvent conçus pour réguler et punir les plus démunis. Pire, souligne-t-elle, ce transfert de fonds menace en fait d’accroître le contrôle sur les populations noires et marginales… comme le montrait très bien le livre de Virginia Eubanks. Le risque, enfin, est de présenter les travailleurs sociaux comme des substituts polyvalents aux policiers ! Les services de protection de l’enfance eux aussi ont tendance à punir les familles pauvres et noires, sans nécessairement s’attaquer aux causes structurelles de leurs difficultés. Le danger est de passer d’une coercition l’autre, quand il est nécessaire d’imaginer de meilleurs moyens de prévenir la violence domestique ou de répondre aux besoins des familles, qu’en séparant les enfants des leurs ou qu’en développant leur surveillance (par exemple en fournissant des aides en espèces, des soins de santé, un logement et des aides matérielles… sans contraintes).

La technologie, support de la convergence des discriminations

Pour la sociologue Simone Browne (@wewatchwatchers), auteure de Dark Matters : on the surveillance of blackness (Duke University Press, 2015, non traduit), les technologies de surveillance n’ont cessé de catégoriser et réprimer les noirs. Elle aussi est peu convaincue par les timides annonces opportunistes des géants de la technologie, explique-t-elle dans une interview à Wired. Même constat pour l’anthropologue et sociologue Ruha Benjamin (@ruha9), la fondatrice de The Just Data Lab, dans son livre Race after technology (Polity, 2019, non traduit), qui souligne combien les technologies demeurent des produits culturels et politiques qui reflètent la société dont elles sont issues. Le problème des technologies n’est pas uniquement policier, parce qu’elles sont désormais utilisées par toutes les institutions, comme l’éducation ou la santé. L’enjeu, pour elle, est de trouver les « fantômes dans la machine », explique le journaliste Stephen Kearse dans un compte-rendu du livre pour The Nation. Sous couvert d’une objectivité technique, les préjugés sont centraux dans des systèmes technologiques, rappelle-t-elle, et exacerbent les préjugés préexistants. Au lieu de réduire la technologie discriminatoire à des pathologies individuelles ou à des problèmes spécifiques, Benjamin met l’accent sur la convergence de ces formes discriminatoires. Au final, les inégalités que les technologies reproduisent tiennent surtout d’un problème structurel. En ouvrant l’histoire des boîtes noires, Benjamin souligne que l’indifférence à la réalité sociale est une force puissante qui est peut-être plus dangereuse que l’intention malveillante. En promouvant l’efficacité plutôt que l’équité, l’innovation produit « littéralement un confinement » : le fait que les employés noirs ne puissent pas utiliser certains ascenseurs, portes, fontaines à eaux, distributeurs de savons ou lumières automatisées, parce que ces technologies ne détectent pas leur couleur de peau demeure traité comme un inconvénient mineur au service d’un plus grand bien.

Derrière cette invisibilisation et cette indifférence, on trouve à la fois une surexposition et une négligence explique Alondra Nelson : c’est-à-dire que les minorités discriminées le sont à la fois par les abus spécifiques que cette indifférence produit et à la fois par la surexposition que ce contrôle renforce.

Joy Buolamwini (@jovialjoy), fondatrice de la Ligue pour la justice algorithmique (@AJLUnited), a montré dans une étude que les résultats des outils de reconnaissance faciale ont des taux d’erreurs très différents selon qu’ils analysent des visages d’homme à la peau claire ou de femme à la peau foncée. Elle a depuis lancé un pacte à destination des entreprises qui proposent ces technologies. La militante et chercheuse souhaite rester optimiste et plaide pour des systèmes qui parviennent à être inclusifs.

Reste que ces contestations profondes soulignent combien cet objectif semble s’éloigner à mesure que les technologies se répandent dans toutes les strates de la société. Ces mobilisations et débats montrent en tout cas que le discours à l’encontre de la technologie se tend. Comme le soulignait très bien Ben Tarnoff (@bentarnoff) dans le magazine socialiste américain Jacobin : « Certains services numériques ne doivent pas être rendus moins commodes ou plus démocratiques, mais tout simplement abolis ». Une revendication à arrêter les machines, qui, si elle n’est pas nouvelle, polarise plus que jamais les positions. Reste, derrière la question du démantèlement des armes numériques, à mieux caractériser ce qui doit être démantelé de ce qui doit être gardé.

Hubert Guillaud