Le racisme n’est pas seulement une forme de domination parmi d’autres, une idéologie ou une histoire. C’est avant tout « un ensemble de technologies qui génèrent des modèles de relations sociales »… Un ensemble de technologies qui, comme bien des technologies, ont tendance à devenir des boîtes noires trop souvent considérées comme étant naturelles, inévitables, automatiques, explique la chercheuse spécialiste en études afro-américaines Ruha Benjamin (@ruha9) dans son livre Race after technology (Polity, 2019, non traduit). Pour la fondatrice du Just Data Lab, nos classements sociaux comme raciaux ont pour but de générer et de faciliter le contrôle social. Ils stratifient, sanctifient, figent l’injustice sociale et les différences culturelles dans l’architecture de la vie quotidienne. Ils opèrent dans des systèmes qui rendent ces distinctions invisibles ou au contraire hypervisibles, à l’image des noms de famille ou des prénoms, encodés de culture, de sens, d’interprétations et d’expériences. Aux États-Unis, une étude de 2003 a montré que les demandeurs d’emploi portant un prénom à consonance blanche reçoivent 50 % de rappels de plus de la part d’employeurs que les gens porteurs d’un prénom à consonance afro-américaine. Selon la connotation d’un prénom ou d’un nom, le fossé racial qui s’en dégage équivaut à huit ans de différences d’expérience professionnelle. Un nom « normal » n’est qu’un outil qui renforce l’invisibilité raciale. Il vous permet au pire de ne pas être marqué au mieux d’échapper à la responsabilité de votre rôle dans un système injuste, constate Benjamin.

Aux États-Unis, depuis le mouvement Black Lives Matter notamment, la question raciale est venue interroger directement le rôle de la technologie dans la discrimination, comme nous le pointions avant l’été. C’est tout le propos du livre de Ruha Benjamin qui vient produire une synthèse de ces enjeux, soulignant combien le discours à l’encontre de la technologie se tend à mesure qu’elle envahit tout l’espace social.

Du déni du racisme « technologique »

Les nouvelles technologies encodent, reflètent et reproduisent les inégalités existantes, tout en les promouvant comme plus objectives ou progressistes que les anciens systèmes discriminatoires. Pour Benjamin, le numérique produit un « nouveau Jim Code », pour faire référence aux lois Jim Crow, cet ensemble de règles, de procédures et de lois venues rogner les droits constitutionnels des Afro-Américains acquis au lendemain de la Guerre de Sécession jusqu’à la législation de 1964 sur les droits civils qui vient mettre fin à la ségrégation raciale. « Le racisme est le plus négligé des modèles prédictifs. Il est alimenté par des collectes de données aléatoires et des corrélations erronées, renforcées par des iniquités institutionnelles et polluées par d’innombrables biais de confirmation », disait déjà Cathy O’Neil (@mathbabedotorg) dans Algorithmes, la bombe à retardement (Les arènes, 2018). Dans ce contexte, plus qu’une solution, les nouvelles technologies cachent, accélèrent, reproduisent voire approfondissent les discriminations, plus qu’elles ne les résolvent.

Le criminel a toujours été le nom de code pour désigner le noir, le pauvre, le migrant… Et l’histoire a intégré cette codification culturelle dans le code technique des programmes logiciels. Les biais sont entrés d’autant plus facilement par la porte dérobée de l’optimisation, que les concepteurs techniques (des programmateurs majoritairement blancs, éduqués et disposant de bons revenus) n’étaient pas vraiment concernés par les problèmes suscités par leurs programmes. Les données comme les modèles n’ont jamais été ni neutres ni objectifs.

Le problème, estime Ruha Benjamin, c’est que les concepteurs encodent des jugements dans des systèmes techniques, mais prétendent que les résultats racistes et discriminatoires de leurs conceptions sont entièrement extérieurs au processus qu’ils mettent en place. Pour elle, nous sommes confrontés à un « déni numérique » alors que nous devrions considérer les choix des industries privées comme des décisions politiques. Les décisions prises dans les systèmes techniques ont un impact sur les questions raciales, sociales, de pouvoir, d’éthique et d’équité. Quand les entreprises souhaitent bouger vite et casser les choses (Move fast, break things, selon le mantra des industries de la tech)… on oublie souvent de s’interroger sur qui sont les personnes cassées par ces processus.

Si l’identité ou la pauvreté sont plus que jamais des problèmes, c’est notamment parce que les systèmes techniques ont rendu ces signaux plus visibles et déterminants que jamais

Dans les systèmes techniques interconnectés « dès que quelqu’un est marqué à risque dans un domaine, cette stigmatisation le suit bien plus efficacement qu’avant », rationalisant ainsi la marginalisation. L’interconnexion des données est le danger le plus pernicieux du nouveau Jim Code. À lire Benjamin, on pourrait penser que si l’identité ou la pauvreté sont plus que jamais des problèmes, c’est notamment parce que les systèmes techniques ont rendu ces signaux plus visibles et déterminants que jamais.

Sous couvert d’un marketing toujours plus personnalisé – mais surtout de plus en plus interrelié -, la discrimination tend à devenir une représentation non seulement inexacte, mais à risque pour ceux qui en sont victimes et ce d’autant qu’elle les étiquette et les poursuit sans qu’ils puissent y remédier. Ce qui fait dire à Benjamin que l’iniquité est désormais encodée dans les programmes. Mais pour la chercheuse, ces biais ne sont ni involontaires ni inconscients. Le marketing internalise cette iniquité pour en tirer profit. La rationalité technique est devenue politique, disait déjà le philosophe Herbert Marcuse. Le fait de donner la priorité à l’efficacité plutôt qu’à l’équité, un choix. Et ces choix, insidieusement, redéfinissent l’identité, l’autonomie, les droits comme les principes démocratiques. « L’iniquité codée rend la discrimination plus facile, plus rapide et encore plus difficile à contester ». Dans Algorithms of Oppression (NYU Press, 2018, non traduit), Safiya Noble (@safiyanoble) estimait que les résultats de recherches racistes et sexistes de Google sont le résultat d’une logique d’entreprise, d’une négligence délibérée et d’un impératif de profit qui tire avantage du racisme et du sexisme. La sociologue Simone Browne (@wewatchwatchers) dans Dark Matters (Duke University Press, 2015, non traduit) rappelle que si la surveillance des noirs et des pauvres est ancienne, ces formes de surveillance ont toujours été là pour extraire du profit des corps racisés et discriminés. Pour Benjamin, ce racisme n’est pas seulement un symptôme ou un résultat, mais « une condition préalable à la fabrication de telles technologies ». Les écrans reproduisent une « méthode de lecture des surfaces », comme la couleur de la peau. Et être racisé, c’est justement être réduit à une surface. Pour Benjamin, l’enjeu consiste à être collectivement mieux conscient de cette orientation pour imaginer peut-être concevoir la technologie et notre rapport à la technologie autrement.

Les quatre dimensions du nouveau Jim Code : comment la technologie fabrique-t-elle des discriminations ?

Dans son livre, Ruha Benjamin définit 4 dimensions du nouveau Jim Code : à savoir ce qu’elle appelle « l’iniquité artificielle » qui consiste à amplifier les hiérarchies sociales et raciales, « la discrimination par défaut », c’est-à-dire le fait que les développeurs ne prennent pas en compte les contextes sociaux et historiques, la question de « coder la visibilité », c’est-à-dire le fait d’être rendus plus ou moins visibles par ces technologies et enfin la « bienveillance technologique », qui consiste à regarder comment les solutions apportées au problème le reproduisent voire l’approfondissent.

L’iniquité artificielle : l’intention ne suffit pas
L’iniquité artificielle repose sur la croyance dans une forme de neutralité de la technique, comme si aucun biais social n’était embarqué dans nos objets. Or, ils reposent principalement sur des données que les systèmes utilisent pour apprendre et prendre des décisions… Des données qui reflètent des préjugés culturels et des hiérarchies structurelles (de race, de genre, de niveau économique…) profondément ancrées dans nos sociétés. Trop souvent pourtant, estime Benjamin, on pense que discriminer suppose une intention explicite. Or, si les systèmes techniques ne sont pas des êtres sensibles capables d’intention, ça ne les empêche pas de reproduire et amplifier leurs effets discriminatoires et de perpétuer un système raciste ou inégalitaire. Il suffit bien souvent d’être indifférent à ces problèmes pour les reproduire. Le problème c’est que cela produit une automatisation des stéréotypes et des discriminations, quand on attend de l’automatisation et de l’innovation qu’elle soigne les maux de nos sociétés.

L’un des exemples emblématiques que prend Ruha Benjamin s’intéresse aux distributeurs automatiques de savon qu’on trouve dans nombre de toilettes collectives. Les distributeurs qui fonctionnent depuis un capteur optique sont moins sensibles aux peaux sombres qu’aux peaux claires, car la peau qui contient plus de mélanine, absorbant plus de lumière, ne déclenche pas le capteur. Ces distributeurs de savons « réservés aux Blancs » pourraient sembler être un inconvénient insignifiant, un problème strictement technique… même s’il rappelle très concrètement, les pires heures de la ségrégation raciale, celle, où les toilettes des noires étaient distinctes de celles des blancs. Mais s’arrêter à ces constats ne dit rien des raisons pour lesquelles ce mécanisme particulier a finalement été utilisé et massivement déployé alors qu’il existe nombre d’autres options pour servir du savon, ni pourquoi ce problème a été négligé dans l’étape de conception.

Les noirs américains ne sont pas toujours invisibilisés par la technologie. Au contraire, bien souvent, ils sont rendus hypervisibles. Les systèmes de crédit automatisés déterminent des scores qui reposent sur des valeurs (niveau de revenu bien sûr, mais également crédibilité, fiabilité, moralité, relations sociales…) qui sont souvent des proxys pour coder la classe sociale, le genre, le comportement social… Des qualités arbitraires imprégnées de représentations sociales sont transformées en mesures qui renforcent les biais. « Le manque d’intention à nuire ne peut pas être un alibi viable. On ne peut pas engranger les bénéfices quand les choses vont bien, mais minimiser la responsabilité quand elles vont mal. »

La discrimination par défaut : est-ce seulement parce que la société est raciste que les algorithmes renvoient des résultats racistes ?
« Pour remplacer le progrès est apparue l’innovation – un concept plus petit et moralement neutre. L’innovation a permis de célébrer les réalisations d’une ère de haute technologie sans trop attendre d’elles en termes d’amélioration morale et sociale », expliquaient déjà en 2016, non sans ironie, les historiens Andrew Russell et Lee Vinsel (voir notre article, « Contre l’innovation »). Les inégalités encodées dans les systèmes s’observent souvent quand ceux-ci défaillent, quand ils révèlent, brusquement, leurs « discriminations par défaut. Mais, les personnes directement impactées par les systèmes, elles, voient souvent très bien combien ces technologies facilitent la discrimination, comme c’est le cas de toutes les technologies du système pénal américain, à l’image du système de calcul du risque de récidive parfaitement démonté par les travaux de ProPublica, ou des systèmes de police prédictive… Leur discrimination n’est pas un glitch, un bug, un défaut… mais bien une caractéristique. Et ce sont ces bugs qui bien souvent permettent de voir que quelque chose dans les programmes a été modifié. « Les glitchs dans ce contexte ne sont pas des erreurs insignifiantes à réparer, mais servent plutôt de signal comme quoi quelque chose de la structure du monde est destiné à « pacifier » les humains. Il attire l’attention sur la construction et la reconstruction du programme. Ces bugs devraient servir d’indicateurs que ceux qui recherchent la liberté devraient se préparer à passer à l’action ».

L’architecture urbaine est riche en constructions hostiles, comme le soulignait l’année dernière le livre du philosophe Mickaël Labbé, Reprendre place (Payot, 2019). Dans nos villes, les architectures du mépris se révèlent parfois particulièrement évidentes, mais bien souvent, elles demeurent radicalement insidieuses, à l’image des travaux de Robert Moses, artisan de la rénovation de New York des années 30 à 60, qui a construit les ponts menant à Long Island trop bas afin que les transports publics ne puissent mener les gens de couleurs aux plages de banlieue. Un exemple significatif qui souligne qu’il n’y a pas que des règles ségrégationnistes visibles qui ont réservé aux Blancs les espaces et les services, et qui souligne combien l’architecture du monde matériel reflète et renforce les hiérarchies sociales. L’exemple souligne bien évidement combien nos constructions opèrent des choix de conceptions. Et combien du monde physique au monde immatériel, se prolonge ces problèmes de conceptions.

Pourtant quand on s’interroge pour savoir si l’architecture numérique du monde est raciste, la réponse qu’on nous fait est souvent que si les algorithmes renvoient des résultats racistes c’est que la société est raciste, constate Benjamin. Ce qui n’a pas empêché Google et les autres de corriger leurs résultats dès que certains d’entre eux étaient dénoncés. Autant d’exemples qui montrent qu’ils peuvent, à défaut, atténuer les biais… au risque qu’ils deviennent plus difficiles à détecter.

Coder la visibilité : au risque de rendre « les suspects plus vulnérables aux stéréotypes », plutôt que de « rendre la recherche de suspects plus exacte »
L’indifférence à la couleur de peau est profitable à la société tant que les coûts sociaux ne sont pas trop élevés. Or, trop souvent, la solution pour résoudre le dilemme des inégalités codées dans les systèmes techniques consiste à améliorer la sensibilité des dispositifs, ce qui a tendance à aggraver plus que résoudre le problème.

Alors que certaines technologies échouent à reconnaître leur propre racisme, d’autres surexposent et rendent les gens de couleurs plus visibles qu’ils ne le sont. Les personnes de couleurs, prises dans les rets des technologies, sont exposées ou mises en visibilité de bien des manières, à l’image de leur exposition par les techniques photographiques. L’image tient des techniques qui ont renforcé l’oppression sociale, rappelle Ruha Benjamin. Les techniques visuelles et les taxonomies raciales se sont façonnées l’une l’autre. Pourtant, là encore, sous couvert de la plus parfaite objectivité à rendre le monde, les technologies de l’image ont longtemps été présentées comme neutres. « Avec l’invention de la photographie couleur, le biais positif à l’égard des peaux claires a été intégré aux technologies visuelles et présenté au public comme neutre. La neutralité impose l’idée que « la physique est de la physique », même si les techniques d’équilibrage des couleurs d’une image renforcent un idéal dominant blanc. » Avec le développement des techniques numériques, dans l’économie visuelle, la question raciale n’a pas seulement été numérisée, mais renforcée. Comme le soulignait le psychiatre Frantz Fanon dans Peau noire, masques blancs, les existences des noirs dans les sociétés racistes sont sous la menace constante d’être exposées et d’être mal interprétées. Benjamin rappelle que les tons sombres ont longtemps été peu pris en compte par les industries visuelles… jusqu’à ce que des entreprises vendant des produits sombres, comme des produits en bois ou du chocolat (sic), commencent à se plaindre. La concurrence entre Kodak, Fuji ou Polaroid peut aussi s’expliquer par une « géographie des émulsions », où Fuji et Polaroid ont été les firmes qui ont pris en compte les différences ethniques pour améliorer leurs procédés techniques, comme l’explique la chercheuse Lorna Roth.

Ces différences de perception vont se poursuivre bien au-delà des procédés argentiques. En 2009, la webcam MediaSmart de HP était accusée de ne pas identifier des personnes noires. « Le fait que les nouveaux outils soient codés dans d’anciens préjugés n’est surprenant que si nous assimilons l’innovation technologique au progrès social », ironise Benjamin, qui ne cesse de souligner tout le long de son livre que ce n’est absolument pas le cas. Et tout comme les firmes de l’argentique ont dû concevoir leurs produits différemment pour élargir le spectre des couleurs de peau, les entreprises du numérique qui travaillent dans le secteur des caméras doivent adapter les appareils photo de leurs smartphones à la diversité ethnique de leurs publics. Resque que les paramètres par défauts des technologies photographiques d’hier comme d’aujourd’hui restent bloquées sur ce biais historique. Mais ce n’est pas qu’un biais ni une conséquence logique d’une histoire, insiste Benjamin. Comme le souligne l’anthropologue Deborah Poole, l’image à une nature sociale et ses interprétations et sens sont multiples selon les codes, les références et les publics. En 2015, Google Photo, qui générait des étiquettes aux images partagées par ses utilisateurs, était dénoncé pour avoir étiqueté l’image de deux étudiants noirs en « gorilles » (et si Google Photo ne le fait plus, c’est visiblement parce que le terme gorille a été supprimé de son moteur d’annotation).

Pour Foucault, si la visibilité est un piège, le problème, c’est que les dangers et risques de l’exposition ne sont pas les mêmes pour tous. Ces systèmes techniques qui reproduisent et produisent du racisme ne sont pas seulement utilisés pour des systèmes qu’on pourrait croire « bénins » (même s’ils ne le sont pas pour ceux qui en sont victimes), mais également pour des fonctions qui ont des conséquences directes sur la vie des gens, à l’image bien sûr, des systèmes de reconnaissance faciale et des systèmes techniques utilisés par la police ou les services sociaux. Des chercheurs ont montré que les systèmes de reconnaissance faciale utilisés par la police américaine utilisaient des données qui contenaient d’une manière disproportionnée des Afro-Américains alors que leurs logiciels étaient bien plus mauvais à reconnaître des visages noirs que blancs. Les systèmes de reconnaissance faciale d’origines asiatiques, eux, étaient meilleurs à reconnaître des visages asiatiques que caucasiens… Les algorithmes sont influencés par leurs lieux de développement, par les équipes qui les développent, par les données utilisées en tests et bien sûr par les populations que ces technologies ciblent. Les corps sont convoqués pour témoigner contre eux. Les suspects sont pris à la croisée d’une double surveillance : celle d’être sur-surveillés par les pratiques de surveillance et celle d’être sous-surveillés par les logiciels. Le risque bien sûr, c’est qu’on demande toujours plus de données sur ceux qu’on sur-surveille pour améliorer les choses.

Pour Benjamin, nous risquons là une « datafication de l’injustice », à l’image des bien peu fiables techniques de phénotypage depuis l’ADN, consistant à inférer un visage ou des caractéristiques physiques depuis des indications génétiques. Comme l’explique Simone Browne dans Dark Matters, la surveillance raciste s’infiltre jusqu’aux gènes. Pour la bioéthicienne Pamela Sankar, plutôt que de « rendre la recherche de suspects plus exacte », ces techniques rendent « les suspects plus vulnérables aux stéréotypes ». Pour Benjamin, si l’eugénisme semble avoir disparu, son idéologie persiste et semble plus vive que jamais. Pire, souligne-t-elle. Avec des techniques comme la reconnaissance faciale ou le phénotypage, « les biais s’encodent d’une simili objectivité scientifique ». Le problème, c’est qu’à l’heure du nouveau Jim Code, il devient toujours plus difficile de les contester et de tenir les individus et institutions qui les produisent pour responsables…

Comment en l’absence de scientificité et de fiabilité peut-on continuer à autoriser et utiliser de tels systèmes ?, s’interroge Benjamin en colère. Au Zimbabwe, le gouvernement a recours à une firme chinoise spécialiste de la reconnaissance faciale pour développer un programme lui permettant d’identifier et distinguer différentes ethnies. Dans ce projet orwellien de contrôle de l’immigration et des populations, les habitants n’ont aucun droit sur les données et les systèmes et les firmes chinoises se dotent de techniques pouvant améliorer la criminalisation des noirs…

La mise en visibilité codée n’est pas seulement un phénomène américain, souligne Benjamin, ni un enjeu uniquement raciste : les nationalités, les religions, les appartenances politiques sont également stratifiées par des systèmes et des logiques de surveillance, de contrôle et de coercition, à l’image du Human Provenance Pilot Project britannique (abandonné en 2011), du projet d’identité unique indien (le projet Aadhaar), ou de l’initiative de base ADN nationale du Koweït… Des initiatives qui montrent que la racialisation des inégalités produits des formes d’objectivité et d’inévitabilité qui rendent plus difficile de questionner et de changer le statu quo.

Se défaire de la « bienveillance technologique » qui développe surtout des « formes innovantes d’injustices » et une surveillance structurelle
Réparer ces orientations technologiques n’est pas si simple, insiste Ruha Benjamin. Bien souvent, les « technocorrections » consistent surtout à renforcer les grilles des bases de données qui se referment sur les plus démunis. Les systèmes de surveillance électronique pour résoudre la surpopulation carcérale américaine font passer le système pénal américain de l’incarcération de masse à une nouvelle étape de la surveillance de masse, qui n’est pas qu’une incarcération distante ou un confinement électronique, mais à une forme de condamnation agile, arbitraire, automatique… c’est-à-dire sans jugement. Les bracelets de surveillance électronique, longtemps réservés aux crimes de Blancs en cols blancs, se sont déployés à une plus grande échelle ces dernières années, mais pas tant pour suppléer aux prisons que pour accélérer les condamnations de gens qui ne sont pas jugés coupables. Ils sont essentiellement utilisés dans des cas de libération provisoire et tiennent plus de l’introduction d’une nouvelle peine, de nouvelles zones d’indétermination juridique à l’égard de citoyens de seconde zone, comme s’en émouvait, avec beaucoup de profondeur, Achille Mbembe. Les technologies déploient en fait des « formes innovantes d’injustices » qui nuisent plus qu’elles ne solutionnent.

Les systèmes automatisés à l’embauche, comme ceux de MYA Systems ou de HireVue ont développé des discours positifs présentant leurs solutions comme des moyens de résoudre les discriminations à l’embauche. Dans les faits, elles ont produit pire : « des systèmes moins humains en terme d’interaction et aussi discriminants que leurs prédécesseurs analogiques ». Les algorithmes à l’embauche d’Amazon ont reproduit et aggravé les biais raciaux et genrés de son recrutement. La fausse impartialité des techniques cimente les discriminations. La chercheuse évoque notamment une entreprise de marketing qui utilise les statistiques sur les noms et prénoms ainsi que la localisation pour inférer l’appartenance ethnique (elle propose d’identifier 150 ethnies différentes et peut même « en construire de nouvelles » – sic – pour les entreprises qui souhaitent atteindre des communautés spécifiques plus précises). Bien sûr, l’entreprise en question se défend de collecter et produire des données discriminantes, elle ne fait qu’inférer des constats depuis des données, en se targuant d’un taux de précision de 96 %, et vendre ce ciblage marketing à des entreprises de la finance, du logement, de la santé… Cette entreprise utilise la catégorisation ethnique comme un proxy pour la personnalisation. C’est très exactement tout le problème de l’inférence des techniques algorithmiques : le fait d’inférer une information d’une donnée sans avoir obtenu le consentement de celui qui vous a confié la donnée, comme d’inférer un revenu d’un code postal, une couleur de peau d’un prénom… scelle les discriminations dans les données. Dans le contexte de publicités sur mesure, la ségrégation devient finalement une valeur marchande. En croisant les données sur les noms, prénoms, et code sociaux, les gens sont assignés à une identité ethnique sous couvert d’une personnalisation. L’héritage des politiques du vieux Jim Code et ses quartiers ségrégés vient croiser les techniques du nouveau Jim Code, et la valeur marchande de la ségrégation devient une justification pour renforcer des politiques qui demeurent ségrégationnistes. Il n’y a que l’argumentaire qui change !

Désormais, intégrer ces techniques n’a pas pour but de discriminer, mais de mieux servir les communautés, de mieux intégrer différents groupes sociaux. Nous sommes entrés dans un « technical redlining«  (voire « Quel contrôle démocratique sur la vidéosurveillance privée en réseau ? »). « Les codes postaux racialisés qui ont été produits par les politiques du vieux Jim Crow sont devenus les données d’entrées des pratiques du nouveau Jim Code ». La personnalisation et l’individualisation, qui masquent surtout des pratiques de catégorisation, sont avant tout des moyens de discrimination. En fait, suggère Benjamin, si les gens ne peuvent s’extraire de la technobienveillance, c’est qu’elle n’en est pas ! Derrière l’innovation se cache une contrainte. L’historienne Marilyne Halter dans Shopping for identity (Schocken, 2007, non traduit) rappelait que le succès des stratégies de segmentation marketing ont surtout réussi en ciblant des circonscriptions spécifiques selon leurs origines ethniques. À l’heure où la personnalisation est partout, le problème principal n’est pas qu’elle soit intrinsèquement mauvaise, bourrée d’erreurs et de biais, mais que nul ne puisse plus y échapper.

L’historienne de la médecine Lundy Braun dans Breathing Race into the Machine (Minnesota University Press, 2014, non traduit) – voir aussi cet article de The Atlantic – revient sur l’histoire du spiromètre, cet instrument médical destiné à mesurer les volumes d’air inspirés et expirés. Derrière cet instrument médical très ordinaire, on trouve un bouton ou un menu qui nécessite d’indiquer « la race » du patient au prétexte qu’il y aurait une différence de capacités respiratoires entre Noirs et Caucasiens, alors que, en fait, l’enjeu de l’introduction de ces différences de mesures, visait surtout à minimiser pour les entreprises les recours à compensation de leurs employés de couleurs pour les avoir exposés à des situations ayant entraîné des problèmes respiratoires. Nous sommes là, explicitement, dans un aménagement qui n’a rien de bienveillant pour ceux auxquels ils s’appliquent.

Pour Malkia Cyril, les connexions entre la surveillance électronique, la police prédictive, la reconnaissance faciale, le marketing ciblé… montrent que la technologie est « surtout utilisée pour étendre l’état carcéral, sous couvert d’une neutralité technique ». « Les technologies numériques élargissent la portée d’une surveillance structurelle, la rendant persistante pour certains et quasiment invisible pour ceux qui ont assez de pouvoir pour échapper à son regard ». Ces technologies ne sont pas seulement des technologies de surveillance et de contrôle, mais se révèlent surtout « des outils lucratifs pour capitaliser sur la misère des autres tout en se réclamant d’une préoccupation humaniste ». Et trop souvent, en cherchant à améliorer la justice sociale, le risque est de tomber dans une fausse et bien illusoire bienveillance technologique.

Pour éviter cela, nous avons besoin d’une révolution des valeurs et d’un réveil démocratique radical soutien Benjamin, qui soient capables de s’attaquer à ces conceptions discriminatoires qui automatisent les discriminations jusqu’au coeur des systèmes techniques.

Les bonnes intentions ne suffisent pas ! Réoutiller la solidarité, réimaginer la justice ?

Le problème de l’individualisation, de la personnalisation et de la responsabilité, c’est qu’elle classe souvent les gens selon le mérite plutôt que selon le préjudice qu’ils subissent. Pour Benjamin, la résistance au nouveau Jim Code passe, comme dans les années 60, par leur abolition et par le changement d’orientation des financements qui les nourrissent et leur permettent de s’étendre.

Les endroits où la police a été abolie existent déjà, explique pourtant Marbre Stahly-Butts, responsable de Law for Black Lives (@law4blacklives) : ce sont les lieux où vivent les plus riches !

Reste que distinguer ce qui améliore la justice sociale de ce qui la dégrade n’est pas si simple.

Le développeur Kortney Ziegler (blog) a appelé à développer une application, baptisée Appolition.us (fermée depuis la crise du Covid), consistant à permettre aux gens d’arrondir leurs paiements quotidiens pour les offrir au programme afin de payer les cautions des gens de couleurs arrêtés par la police. Appolition a permis de récolter 230 000 dollars et de libérer 65 personnes. Avec des moyens bien plus importants, le rappeur Jay-Z a également lancé « Promise » une startup de « décarcération » qui propose d’assurer une surveillance par bracelets électroniques comme alternative à la prison. Cette seconde alternative a été beaucoup moins appréciée des mouvements Black Lives Matter parce qu’elle tend plus à étendre l’incarcération à la vie quotidienne qu’à lutter contre les discriminations liées à l’incarcération. Promise propose de renforcer le maintien de la loi, pas de subvertir ses injustices.

Pour Benjamin, ces deux exemples soulignent combien il est facile de glisser de plus de justice sociale à une meilleure application des nouveaux Jim Code. Pour la chercheuse, nous devons nous intéresser pas seulement aux fins, mais également au sens. « Nous devons passer de la technologie comme résultat à la fabrication d’outils comme pratiques, afin de considérer les nombreux types d’outils nécessaires pour résister à l’inégalité codée, pour construire la solidarité et pour engendrer la libération ». « Les bonnes intentions ne sont pas une garantie contre le préjudice ou l’exploitation ».

À la fin de son livre, en farouche décolonialiste, Ruha Benjamin s’en prend au design thinking, qui vise à remettre l’humain au centre de la conception… Et s’interroge : quels humains sont priorisés dans ces process ? D’abord et avant tout, ceux qui payent la facture du designer, répond-elle, cinglante. Elle évoque le livre de la designer Sasha Constanza-Chock (@schock), fondatrice du studio de co-conception du MIT et du réseau design justice (@design__justice), Design Justice (MIT Press, 2020, non traduit, accessible en ligne), qui explique l’impératif éthique à faire progresser la participation des communautés marginalisées à toutes les étapes de conception des technologies, seul moyen de redistribuer équitablement du pouvoir. Mais pour Benjamin, le risque ici est de faire du design une morale universelle. Or, la conception ne suffit pas pour distinguer Appolition de Promise par exemple. Pour, elle, le risque est de faire du design un projet colonialiste, capable de gérer toute situation et tout projet, où les designers exerceraient un monopole sur la pensée et les pratiques créatives au détriment de ceux qu’ils sont censés aider, renvoyés à leur incapacité à changer leur situation. Pour Benjamin, nous n’avons pas tant besoin d’une « conception libératrice » que d’une libération. Rosa Parks n’a pas eu besoin du design thinking pour lancer le boycott des bus de Montgomery, rappelle Benjamin (comme le souligne le récent documentaire que lui a consacré France Culture, c’est d’abord parce qu’elle était dans une démarche de libération qu’elle a refusé de céder sa place). Pour elle, le design risque d’effacer « la perspicacité et la capacité d’action de ceux qui sont écartés parce qu’ils ne sont pas designers ». Au final, le design peut nous enfermer dans une esthétique de l’innovation déjà trop largement dominante – comme le disait déjà Safiya Noble, « les applications ne nous sauveront pas ». Le cadre du design ne permet pas de sortir du cadre, au contraire, il le referme. Pour Ruha Benjamin, son succès est synchrone avec la montée du capitalisme de surveillance dénoncé par Shoshana Zuboff (L’âge du capitalisme de surveillance, Zulma, 2020, à paraître). Faisant référence tant à Eric Garner qu’à Frantz Fanon, « dans la course haletante à une technologie nouvelle, plus rapide et meilleure, quelles sont les façons de penser, d’être et d’organiser la vie sociale qui sont potentiellement étouffées ? »

Pour Ruha Benjamin, l’enjeu consiste à réécrire les codes culturels plutôt que de substituer des codes par d’autres. L’enjeu est de transformer les valeurs et les relations sociales. De passer à un développement technologique qui repose sur l’équité plutôt que l’efficacité, le bien social plutôt que l’impératif du marché, qui appelle à une innovation plus lente et plus consciente de la société. Le chemin sera certainement encore long, concède-t-elle. La ligue pour la justice algorithmique a lancé un appel pour une reconnaissance faciale sûre (Safe Face Pledge, qui prône un moratoire sur certains usages et une transparence sur ces technologies) qui n’a été signé par aucune des grandes entreprises de la tech, constate-t-elle, un peu dépitée. Qu’importe, pour elle, derrière le « techlash » qui secoue le secteur, de plus en plus d’employés de la tech prennent conscience de leur complicité dans le développement du nouveau Jim Code. Il y a plus à attendre des protestations que de l’autorégulation, pointe la militante, du définancement de la police pour exiger des réponses non policières aux problèmes de société que d’une régulation aux cas par cas des technologies policières.

Certes, la régulation et l’autorégulation proposent souvent de poser des questions de fond, concède la chercheuse, à l’image des audits algorithmiques et des déclarations de responsabilités. Comme le pointaient les chercheuses du Data & Society (@datasociety, voir également, le rapport sur la responsabilité algorithmique), Madeleine Clare Elish (@m_c_elish) et danah boyd (@zephoria), tout audit devrait d’abord poser des questions de fonds, capables de rejeter et réprouver des projets d’automatisation, par exemple en leur demandant de répondre, avant tout déploiement à des questions de fonds, comme de préciser les conséquences involontaires que pourraient faire naître ces systèmes ; comme de savoir quand et comment les systèmes automatisés devraient-ils donner la priorité aux individus sur la société et inversement ; et enfin, quand l’introduction d’un système d’IA est-elle la bonne réponse – et quand est-elle une mauvaise réponse ?

Des questions auxquelles il n’est pas si simple de répondre. Le renforcement des droits individuels comme le propose le RGPD européen ne suffit pourtant pas à adresser le nouveau Jim Code, déplore la chercheuse, notamment parce que les Etats se sont conservés des exceptions notamment en ce qui concerne la menace contre les sécurités publiques. « Ce qui ressemble à une extension des droits pour les individus repose sur la capacité des gouvernements à révoquer ces droits à toute personne considérée comme une menace publique ». Une manière pour elle de coder, toujours plus profondément, les inégalités… Et surtout parce que le RGPD demeure assez flou sur la question de l’inférence, sur la question des « déductions sensibles » que nous évoquions il y a peu.

La fabrication « d’outils abolitionnistes » doit entraîner la démocratisation des données – tant au niveau de leur conception que de leur application, à l’image du projet Our Data Bodies et de son manuel de protection numérique (que nous évoquions récemment) ou encore des projets de la coalition pour la Justice numérique de la ville de Detroit. L’enjeu estime Ruha Benjamin consiste à renforcer la transparence des données et à améliorer leur labellisation, à l’image du Data nutrition Label, qui cherche à produire une labellisation des jeux de données semblables aux informations nutritionnelles que l’on trouve sur les produits alimentaires, permettant d’indiquer qui les produits, comment, recommandant des utilisations, pointant les limites, mesurant le degré de biais des données…

Pour Benjamin, nous avons besoin d’un contrôle démocratique sur les systèmes, d’une justice numérique qui permette une réelle participation à sa construction. Nous avons besoin de transformer la technologie en propriété commune, à l’image du mouvement promouvant des coopératives de plateformes… Les outils abolitionnistes sont encore à inventer, conclut-elle, en rappelant que la justice n’est pas une valeur statique, mais une méthodologie dynamique qui doit être incorporée à la technologie.

Bien sûr, le livre de Ruha Benjamin ne peut pas se lire en ignorant ce qu’il se passe aux États-Unis autour du mouvement Black Lives Matter (BLM). Le mouvement BLM, qui vient de tenir sa convention nationale, a dévoilé un programme politique à l’encontre des violences policières, rapporte The Atlantic, qui se demande si l’énergie du mouvement va pouvoir se maintenir. Son organisation autour de revendications de plus en plus structurées (voir la plateforme Movement for Black Lives), notamment autour d’une proposition de loi fédérale aux revendications larges (qui propose notamment la fermeture des centres de détention de l’immigration, le définancement des services de police – notamment pour limiter l’inflation technologique -, le rétablissement de services sociaux au bénéfice de personnes sortant de prison…). Reste à ce programme à se réaliser. Pas si simple. Les États-Unis semblent encore bien loin de ces revendications. Et le monde de la tech, également, comme le soulignait un récent article de la Technology Review qui pointait combien ces entreprises ont tendance à renvoyer aux noirs américains la responsabilité de l’injustice raciale, oubliant que ce sont les actions racistes et non les catégories raciales qui sont à l’origine de la discrimination.

*

Le livre de Ruha Benjamin est un livre en colère. Ça ne lui enlève pas sa force ni son exigence à saisir les transformations en cours et les limites d’une technologie qui croit pouvoir faire du monde un monde meilleur en cachant les problèmes sous le tapis des boîtes noires qu’elle démultiplie pour le gérer.

Ce à quoi nous invite Ruha Benjamin consiste à sortir la question technique de la technique, en descendant dans les tréfonds de son fonctionnement pour saisir ses enjeux sociaux – tout comme l’avait fait Virginia Eubanks (@poptechworks) dans son livre, Automatiser les inégalités (St Martin’s Press, 2018, non traduit, voire notre article). Pour nombre d’entreprises et d’acteurs, son discours sonnera comme particulièrement radical, notamment parce qu’elle durcit le ton, décide de ne plus céder au business as usual, refuse de fermer les yeux sur les incohérences sociales que la question technique fabrique… Mais c’est par sa radicalité même qu’elle met à jour la profondeur du problème de l’automatisation des discriminations. Tout comme la question du définancement de la police qui part du constat de l’amplification sans précédent et sans limites de son armement technique, l’enjeu n’est pas de discuter au cas par cas de chaque technique policière et pénale utilisée pour trouver les modalités de leur régulation, mais bien de mettre fin à une escalade sans fin et de réorienter globalement les objectifs sociaux que nous poursuivons en tant que société via la technologie.

Hubert Guillaud