Kate Crawford (@katecrawford) fait partie des chercheurs dont nous suivons avec passion les travaux depuis longtemps – voir notamment, « L’IA est une nouvelle ingénierie du pouvoir ». Forcément, l’annonce de la parution de son premier livre (après une bibliographie de recherche très fournie) ne pouvait qu’attirer notre attention. Cet Atlas de l’IA – Atlas of AI : Power, Politics, and the Planetary Costs of Artificial Intelligence (Yale University Press, 2021, non traduit) -, cette cartographie du changement de paradigme qu’induit l’IA, offre une synthèse très claire et particulièrement critique de cette industrie dont le coût ne cesse de s’étendre sur le monde. Un voyage particulièrement sombre et pessimiste qui dénonce la nature assurément extractiviste de l’IA.

L’IA n’est ni intelligente, ni artificielle… ni une simple technologie : elle est un objectif !

Le livre de Kate Crawford cherche à détruire deux mythes. Le premier est de croire que des systèmes non humains sont analogues à des esprits humains. Il consiste à croire qu’« avec suffisamment d’entraînement ou de ressources, des intelligences plus ou moins proches de celles des hommes peuvent être créées à partir de zéro, sans se confronter à la façon fondamentale dont les humains sont incarnés, reliés et définis par des écologies qui les dépassent ». Le second est de croire que l’intelligence est indépendante de tout, notamment du social, du culturel, de l’histoire et des forces politiques, quand l’intelligence a toujours été convoquée dans l’histoire pour justifier des relations de domination, de l’esclavage à l’eugénisme.

Pour Crawford, l’IA n’est ni intelligente ni artificielle. Elle n’est qu’une industrie du calcul intensive et extractive qui sert les intérêts dominants. Une technologie de pouvoir qui « à la fois reflète et produit les relations sociales et la compréhension du monde ». L’IA n’a rien de neutre : elle est fondamentalement politique. Pour la comprendre, nous devons toujours demander qu’est-ce qui est optimisé, au bénéfice de qui et sous la décision de qui… L’enjeu de cet Atlas, explique-t-elle, vise à offrir au lecteur la possibilité de relire le monde, de comprendre les empires où se déploient les nouvelles dominations numériques. Il vise à cartographier les États et les entreprises qui façonnent et dominent cette industrie, leur nature extractive, ses impacts partout désastreux, que ce soit sur la planète comme sur les formes de travail qui la font fonctionner.

Le livre de Crawford se présente comme un voyage – sans cartes et sans graphiques – dans les différents paysages du calcul pour comprendre la manière dont ils sont interreliés. « Les modèles permettant de comprendre et de tenir les systèmes responsables ont longtemps reposé sur des idéaux de transparence… Le fait de pouvoir voir un système est parfois assimilé au fait de pouvoir savoir comment il fonctionne et comment le gouverner. Mais cette tendance a de sérieuses limites. Dans le cas de l’IA, il n’y a pas de boîte noire unique à ouvrir, pas de secret à révéler, mais une multitude de systèmes de pouvoir entrelacés. La transparence totale est donc un objectif impossible à atteindre. Nous parviendrons à mieux comprendre le rôle de l’IA dans le monde en nous intéressant à ses architectures matérielles, à ses environnements contextuels et aux politiques qui la façonnent, et en retraçant la manière dont ils sont reliés ». Un Atlas sert à comprendre, rappelle la chercheuse. En cartographiant la logique coloniale de l’IA, l’enjeu est d’aider à la défaire. L’IA est une industrie profondément extractive construite depuis « les logiques du capital, du maintien de l’ordre et de la militarisation » et cette combinaison « accentue les asymétries de pouvoir existantes ». Pour Crawford, l’IA est « à la fois une idée, une infrastructure, une industrie, une forme d’exercice du pouvoir et une façon de voir » (pour ne pas dire une idéologie)… Elle est aussi une manifestation très organisée du capital renforcée par de vastes systèmes d’extraction et de logistique, avec des chaînes d’approvisionnement qui couvrent la planète entière. Elle n’est pas une simple technologie. Elle est un objectif. Elle est un conteneur qui transforme la connaissance, la communication et le pouvoir à un niveau épistémologique et qui a des conséquences directes sur la justice, le social, l’organisation, l’expression politique, la culture, l’identité… L’industrie de l’IA est dominée par une poignée d’entreprises dont les outils et méthodes influencent toutes les institutions existantes, créant une intensification et une accélération du technopouvoir.

L’IA : une machine extractiviste totale et insoutenable

Dans son livre, Le Stack (UGA, 2019), Benjamin Bratton (@bratton) prenait le contre-pied d’un internet qui aurait rendu le monde plat, pour en redessiner « l’empilement » justement, pour comprendre l’imbrication et la verticalité des rapports de domination, les régimes de souveraineté qui se superposent les uns les autres. Crawford elle aussi décortique les différentes couches, strates, épaisseurs qui composent l’environnement de l’IA. Comme elle l’avait fait en décortiquant l’Amazon Écho pour produire une cartographie « anatomique » de l’assistant vocal d’Amazon, elle décompose les différentes couches extractives pour mieux nous aider à comprendre ce que l’IA mine.

La première strate, c’est bien sûr la terre, les ressources minières et fossiles dont la technologie a tant besoin. L’histoire du progrès technologique a toujours négligé la dévastation environnementale qu’elle laisse dans son sillage, comme une « amnésie stratégique », et ce d’autant que les dégâts n’ont cessé d’être repoussés toujours plus loin des utilisateurs. Les mines n’ont cessé de s’éloigner des lieux qu’elles enrichissaient. Pourtant, ces sites laissés à leurs désolations après avoir été pillés, sont bien des « paysages du calcul », à l’image de la mine de Lithium à ciel ouvert de Silver Peak dans le Nevada dont l’exploitation sert à construire les batteries des célèbres Tesla. Le Lithium est l’une des nombreuses ressources naturelles que nos technologies vampirisent. Comme le disait le théoricien des médias Jussi Parikka (@juspar) dans sa Géologie des médias (Minnesota press, 2015, non traduit), les médias sont surtout des extensions matérielles des ressources terrestres, plus que les extensions de nos sens, comme le croyait McLuhan. La technologie est d’abord un processus géologique. « Tout objet qui compose le réseau étendu d’un système d’IA, des réseaux de routeurs aux batteries en passant par les centres de données, est construit depuis des matériaux qui nécessitent des milliards d’années pour se former au coeur de la terre ». Nous extrayons des entrailles de la Terre des matières qui ont mis des milliards d’années à se former pour produire des objets comme nos smartphones qui ont une durée de vie moyenne de 4,7 ans ! L’industrie de la techno est profondément inscrite dans des pratiques extractives insoutenables.

L’extractivisme technologique produit partout des conflits et des violences, locales comme géopolitiques. Malgré les efforts des principaux acteurs des technologies pour mieux documenter leurs chaînes d’approvisionnement – et notamment pour s’assurer que leurs composants soient « sans conflits » -, l’origine des matériaux reste marquée d’amnésie, comme l’expliquait Miriam Posner. La question des ressources qui alimente la chaîne technologique reste marquée par l’opacité, c’est-à-dire par l’enjeu de dissimuler les coûts réels de l’extractivisme. Pour Crawford, l’IA n’est qu’une vague technologique supplémentaire qui va continuer à intensifier l’extraction industrielle et l’exploitation des ressources environnementales nées avec la révolution industrielle. L’informatique algorithmique, développée pour adresser les défis sociaux et environnementaux, est surtout utilisée pour intensifier l’extraction et l’exploitation sociales et environnementales !

L’informatique avancée reste rarement observée sous l’angle des ressources, de l’empreinte carbone ou de la pollution. Les serveurs sont invisibilisés dans des « nuages » (cloud) évanescents. L’industrie ne cesse de promouvoir ses initiatives éco-responsables comme elle ne cesse de nous faire penser que l’IA résoudra tous nos problèmes. La réalité est inverse. Comme le souligne Tung-Hui Hu dans A Prehistory of the Cloud (MIT Press, 2015, non traduit), l’informatique en nuage déplace hors de la vue les dommages qu’elle fabrique intensément. L’empreinte carbone de l’IT a dépassé celle de l’industrie de l’aviation et celle du deep learning, encore peu étudiée, ne s’annonce pas meilleure. Mais surtout, malgré toutes les tentatives pour l’évaluer, le niveau de consommation d’énergie du secteur demeure surtout secret, caché, opaque. Quant à la neutralité carbone affichée des grands du secteur, elle ressemble surtout à l’achat d’indulgences pour enfouir leur culpabilité environnementale. L’IA n’est qu’une mégamachine de plus, comme la conceptualisait Lewis Mumford en parlant du projet Manhattan : une vaste infrastructure industrielle particulièrement opaque avec ses chaînes logistiques et ses innombrables travailleurs humains qui s’étirent sur le monde.

Cet extractivisme s’étend au-delà des ressources naturelles : l’exploitation produite par le pipeline industriel de l’IA s’étend jusque sur les gens, notamment les travailleurs qui la font fonctionner, mais également les travailleurs qui en sont le produit : à l’image des employés des entrepôts d’Amazon, qui alimentent la « matrice », tout en étant surveillés en permanence par des algorithmes. Chez le second employeur privé américain, le contrôle du temps est omniprésent et les corps des employés sont soumis aux cadences de la logique informatique, à l’automatisation et à la surveillance permanente. Les systèmes entrelacent le travail, le capital et le temps et transforment l’expérience du travail en une expérience de robotisation. « Depuis les linéaires des usines mécanisées, un modèle émerge qui donne une valeur accrue à la conformité, à la standardisation et à l’interopérabilité – des produits, des process comme des êtres humains » Les lignes d’assemblages automatisés des usines Ford d’antan ont colonisé bien au-delà de l’industrie, à l’image des restaurants ou des commerces et leurs logiciels de planification des horaires. Elles s’apprêtent à envahir le monde des employés en col blanc. Désormais, tout travail doit être interprétable ou compréhensible aux machines. Dans la collaboration entre l’homme et l’IA qui s’annonce, la collaboration n’est pas équitablement négociée.

L’empiètement grandissant de l’IA dans les espaces de travail n’annonce rien d’autre que l’extension d’un taylorisme infernal, alerte Kate Crawford. L’intégration du corps des travailleurs aux machines permet surtout de les transformer, les gérer et les contrôler comme n’importe quelle ressource. La stricte disciplinarisation du temps et la synchronisation toujours plus forte ont été la condition de l’industrialisation, comme le soulignait l’historien britannique E. P. Thompson. Elle continue. Crawford rappelle d’ailleurs, très justement, que le panoptique carcéral du philosophe britannique Jeremy Bentham s’est surtout inspiré des usines imaginées par son frère, l’ingénieur Samuel Bentham, pour surveiller les paysans mis au travail dans les ateliers du prince Potemkine en Russie. Le panoptique est avant tout un mécanisme de travail. Les pratiques d’observation et de contrôle des lieux de travail se sont considérablement accrus avec le capitalisme naissant, à l’image des plantations coloniales qui instaurent le contremaître, celui qui a « le droit de regarder« , comme l’expliquait le spécialiste en études postcoloniales Nicholas Mirzoeff (@nickmirzoeff). Désormais, ce sont les machines qui assurent la surveillance continue.

Kate Crawford le rappelle très justement : « les formes d’exploitation du travail sont présentes à tous les stades du pipeline de l’IA », des mines de ressources naturelles à la production logicielle jusqu’à la distribution des micro tâches aux travailleurs du clic où la collecte de la moindre de nos contributions… Ce « travail fantôme » (qu’évoquaient Mary Gray et Siddharth Suri dans leur livre), cette « automatisation alimentée par l’humain » de Lilly Irani (@gleemie), ce lumpenprolétariat numérique des nettoyeurs du web qu’évoquait Sarah Roberts (@ubiquity75) dans Derrière les écrans (La découverte, 2020), cette « fausstomation », cette automatisation trompeuse qui consiste à confier le travail à quelqu’un d’autre dans une spirale de précarisation sans fin que dénonçait l’essayiste et réalisatrice Astra Taylor (@astradisastra). Les systèmes d’IA ne savent pas fonctionner sans être alimentés par les humains, mais surtout sans les exploiter. Trop souvent, dans le monde de l’IA, on demande aux travailleurs de se faire passer pour une IA, à l’image de x.ai, qui clamait qu’un système savait organiser automatiquement des réunions, alors qu’une armée de petites mains s’en chargeait. « Falsifier l’IA est un travail épuisant ». Ailleurs, comme aux caisses des supermarchés, le travail des employés a été remplacé par celui des consommateurs… Pourtant, cela n’empêche pas les entreprises de l’IA de continuer à tenter de convaincre le public comme les investisseurs que les machines intelligentes font le boulot ! Les vrais coûts de l’IA sont « constamment minimisés et dissimulés ». La déqualification se porte bien ! Cette fauxtomation relocalise et disperse le travail dans le temps et l’espace, augmente la déconnexion entre le travail, sa valeur et son sens, et produit un travail de plus en plus interchangeable, où l’humain n’est qu’une ressource indifférenciée de plus. Le mythe d’une IA abordable et efficace dépend surtout des strates d’exploitation que l’automatisation met en place, y compris l’extraction massive d’une main-d’œuvre non ou peu rémunérée, utilisée pour affiner les systèmes des entreprises les plus riches de la planète. Du dur travail physique des mineurs, au travail répétitif des lignes d’assemblage, en passant par celui des programmeurs externalisés des cognitive sweatshops, au travail distribué des tâcherons de l’IA… L’IA n’est rien d’autre qu’une chaîne d’approvisionnement de l’exploitation.

Cet extractivisme du travail est inscrit depuis l’origine de l’IA. Charles Babbage lui même, l’inventeur de l’idée de la machine à calculer a intensément écrit sur la nature du travail et notamment sur sa logistique, rappelle Crawford. Pour lui, l’usine est une machine rationnelle dont la seule faiblesse est la force de travail humaine. Déjà, l’automatisation était pensée pour contenir les défaillances humaines et maximiser le retour financier, tout comme l’IA aujourd’hui alimente une vision productiviste qui priorise l’efficacité, la réduction des coûts et les profits. L’efficacité met l’accent sur la standardisation, la simplification, la rapidité plutôt que sur la diversité, la complexité ou l’interdépendance, comme l’explique Astra Taylor dans son livre, People Platform (MacMillan, 2015, non traduit). Face à ces formes d’exploitation, souligne Crawford, la régulation se fait souvent à la marge, en laissant intactes les logiques sous-jacentes de la production. Ainsi, on régule souvent ce que produisent les usines plus que la façon dont elles le produisent. Les principes du management scientifique, eux, n’ont jamais cessé. L’IA ne vise qu’à les accélérer encore un peu plus. L’hypermesure accélère la cadence. Désormais, les contremaîtres n’ont plus besoin de passer dans les allées des usines : les postes de travail sont bardés de capteurs, les algorithmes sont devenus nos nouveaux patrons. Pas seulement dans les usines, rappelle-t-elle. WeWork, le géant du coworking, s’était lancé dans la course à la surveillance pour imaginer de nouvelles formes de monétisation en rachetant Euclid, une startup de surveillance des espaces de travail.

Pour la sociologue Judy Wajcman, l’obsession au contrôle du temps n’est pas fortuite. La force de travail de la Silicon Valley est majoritairement plus jeune et masculine qu’ailleurs, sans contraintes familiales. L’addiction au travail de cette population devient le standard qui s’applique à tous, alors que tous les travailleurs ne relèvent pas de cette même population. Des pratiques naît une idéologie, une normalisation du travail et des travailleurs. Plus que les machines, l’accélération dépend surtout des priorités et paramètres que nous nous fixons plus que des machines qui nous aident à les définir, explique-t-elle dans son livre, Pressé par le temps (University of Chicago, 2015, non traduit).

Pourtant, explique encore Crawford, les protocoles de l’internet sont devenus les maîtres du temps à l’heure où les horloges des réseaux doivent être synchronisées. Derrière la métaphore maître/esclave des programmes informatiques, la synchronisation est la clef, à l’image de TrueTime, un protocole de Google qui synchronise les données, une forme de temps universel pour tout horodater, mais un temps privatisé. La coordination des horloges a toujours été un enjeu technologique, rappelle Crawford, en évoquant les enjeux de la coordination des trains au XIXe siècle. Le télégraphe et les câbles transatlantiques ont accéléré la synchronisation, alors que l’exploitation des différences de synchronisation a longtemps été un moyen d’enrichissement, à l’image des transactions à haute fréquence. Maîtriser et définir le temps est une stratégie de pouvoir, qui permet de renforcer et accélérer les affaires. Le temps permet de définir la productivité, le taux et la cadence des tâches. Il est au cœur du fonctionnement des entrepôts d’Amazon, au centre de la majorité des modèles d’affaires des plateformes, à l’image de la publicité programmatique. Le taux de productivité, ce calcul automatisé, est désormais ce qu’il y a de plus dur à altérer. À l’heure où « nous sommes tous des travailleurs de la tech », puisque nous travaillons tous sous son contrôle, nous sommes tous soumis à la puissance et l’omnipotence de son extractivisme.

Sans notre consentement ! La donnée un mode de prédation

Cet extractivisme s’étend bien sûr et avant tout aux données. Les données reposent sur leur standardisation pour les rendre interopérables. Cette standardisation permet de développer des méthodes qualitatives pour les harmoniser, les croiser et les traiter, à l’image des standards biométriques développés par le NIST américain en ce qui concerne les empreintes digitales ou la reconnaissance faciale. Un des jeux de données très utilisés pour la reconnaissance faciale, le NIST Special Database 32 contient des milliers d’images de personnes qui ont été confrontées à des arrestations.

Des images sans histoires, sans contextes et sans noms : qui n’indiquent pas par exemple si ces personnes ont été inculpées, acquittées ou emprisonnées. Cette base de données d’individus confrontés au système policier est devenue une base de test pour la reconnaissance faciale. Elle est devenue, comme le disait le photographe et théoricien Allan Sekula « un gabarit physionomique standard pour la criminalité » (cf. The Body and the Archive, traduit dans Ecrits sur la photographie, 2013). La photo d’identité, et ses mesures anthropométriques, inventée par Alphonse Bertillon est depuis l’origine un moyen pour déterminer les caractéristiques criminelles. Le problème, c’est que ces images ne sont pas tant des outils d’identification que devenues des outils pour mettre au point une forme de vision automatisée, utilisée pour détecter les composants mathématiques des visages et « réduire la nature à son essence géométrique ». Ainsi, les individus assemblés dans ce jeu de données n’en sont pas. Aucun n’a consenti à y être incorporé, pas plus que les suspects n’ont le droit de refuser d’être photographiés lorsqu’ils sont arrêtés. Ils ne sont pas tant des individus (puisqu’il n’y a ni contexte ni consentement) qu’une ressource technique partagée.

Pour Crawford, cette base de données est emblématique d’une logique à l’œuvre qui a perverti le secteur de la technologie : « la croyance inébranlable que tout est donnée et que toute donnée est là pour être prise ». Dans cette base de données, « ce qui relève du personnel, du social, du politique, du sens même est neutralisé ». Le contexte est effacé. Dans cette « transformation d’images en infrastructures », « tout est traité comme des données pour qu’elles soient soumises à des fonctions, transformées en matériel à ingérer pour améliorer des performances techniques ». Cette transformation mécanique du matériel en données est au cœur de l’idéologie extractiviste des données. Cette transformation n’a rien de neutre, insiste Crawford, alors qu’elle est souvent présentée comme apolitique, comme un matériel inerte pour permettre aux outils du machine learning d’apprendre à voir. Cette production de données est profondément inscrite dans une histoire d’inégalités structurelles et d’injustices. Elle est construite pour détecter des visages, mais pas les raisons qui ont conduit les gens dans cette situation. Les bases de données peuvent se substituer les unes aux autres, comme si les données qui les composaient n’avaient pas d’incidences. Les visages des suspects et des prisonniers sont moissonnés pour renforcer les systèmes de police et de contrôle afin de contrôler et emprisonner plus de gens dans une boucle de rétroaction délétère. Ce fonctionnement de collecte massive de données pour produire des opérations d’abstractions est un enjeu peu questionné dans le champ de l’IA, estime la chercheuse. Au contraire ! Le pragmatisme du moissonnage pour ne pas dire du vol et du pillage de données est la règle pour créer des systèmes d’IA profitables. La logique extractiviste est là encore aux fondements des méthodes de l’IA.

Les systèmes de reconnaissances d’images sont constamment en train de s’affronter les uns les autres dans des compétitions qui évaluent leurs performances. Et ces bases de données d’images qui servent à leur entraînement sont l’alphabet commun de ces machines à inférences. Partout, les jeux de données d’entraînements s’accumulent, se construisant et se complétant les uns les autres. ImageNet a hérité d’une taxonomie de mots de description provenant d’une base de données lexicale datant des années 80, WordNet, et WordNet a elle-même hérité du Brown Corpus, un lexique d’un million de mots publié en 1961. « Les données d’entraînements se tiennent sur les épaules de collections et de classifications plus anciennes », pareilles à des encyclopédies en expansion.

Crawford rappelle des pans d’histoire de la constitution d’entrepôts de données. Dans les années 80, la reconnaissance du langage à IBM patinait, du fait du manque de données. Les progrès de l’analyse statistique ont permis un premier bond en avant, par la réduction du contexte des données : on a amoindri le sens au profit d’un modèle de reconnaissance purement statistique. Dans cette nouvelle perspective, le seul enjeu était désormais de disposer du plus de données possible. Pour cela, IBM a eu recours à la numérisation massive d’actes gouvernementaux. À l’université de Pennsylvanie, le Penn Treebank Project a lui numérisé et collecté des sources publiques, des articles de presse… Une autre source a été le Enron Corpus, une base de données de 600 000 mails échangés par 158 employés de la firme saisit en 2001 lors de l’enquête contre la firme par la commission de régulation de l’énergie. Cette base de données de contenus dans un langage familier a été utilisée comme une mine linguistique pour la reconnaissance du langage. Reste que ces archives textuelles ont toutes été vues comme des collections neutres, comme si tout jeu d’entraînement était interchangeable. Or, rappelle Crawford, les mots d’un recueil ne sont pas ceux d’un autre. Entraîner des systèmes depuis un forum de Reddit n’est pas la même chose que de l’entraîner depuis des textes de loi ou des formules des cadres d’une grande entreprise. Quels biais de langages, quels biais politiques enferment ces jeux de données et comment influencent-ils tous les systèmes qui reposent sur eux ?

La construction de base de données d’images a les mêmes défauts, explique la chercheuse. À la fin du XXe siècle, l’un des premiers jeux de données d’images pour la reconnaissance faciale a été lancé par un programme de lutte contre la drogue du ministère de la défense américain et le laboratoire de recherche de l’armée, le programme Feret, créé pour automatiser la recherche de visages aux frontières et dans les aéroports en s’appuyant sur des photos prises par la police aux frontières, les autorités en charge du trafic de stupéfiants ainsi que les premières bases de données pour la détection des fraudes aux permis de conduite. Feret est un exemple de production de données avant que l’internet ne permette une extraction bien plus massive, mais elle a introduit des pratiques qui subsistent, notamment l’exploitation sans autorisation et la production de données peu diverses. Depuis les attentats du 11 septembre 2001, qui ont intensifié le financement de ce type de programmes, Feret est demeuré l’un des jeux de données les plus utilisés pour produire de la reconnaissance automatisée. L’internet bien sûr a changé les choses. À mesure que plus de gens téléchargeaient des images sur des services en ligne, le pillage s’est étendu. En 2019, on estime qu’il y a 350 millions d’images téléchargées chaque jour sur Facebook. Les géants de l’industrie technologique sont désormais assis sur un pipeline sans fin d’images et de textes sans cesse mis à jour. Plus les gens y partagent de contenus, plus la puissance de ces industries grandit, sans compter que les utilisateurs travaillent également à labelliser ces images de termes et de description utiles à leur catégorisation et à leur traitement.

En 2006, la professeure Fei-Fei Li (@drfeifei) a conceptualisé le projet ImageNet, une base de données pour la reconnaissance d’objets. Elle s’est surtout enrichie d’images récupérées sur le net : plus de 14 millions d’images organisées dans plus de 20 000 catégories, sans que ce pillage n’ai jamais vraiment suscité de questionnements éthiques. Grâce à Amazon Mechanical Turk, la plateforme de distribution de microtâches d’Amazon, le projet a pu labelliser ses images à bas coût, 50 images à la minute. Les labels proposés aux travailleurs du clic étaient associés à un import du lexique WordNet… avec toutes les limites de ses catégories. « L’approche par l’extraction de données massives sans consentement et par la catégorisation par des travailleurs sous-payés est devenue depuis une pratique standardisée » : elle est devenue la norme de production ! Sur le campus de l’université du Colorado, un professeur a ainsi installé une caméra sur les lieux de passages d’étudiants pour capturer des centaines d’images afin d’améliorer son système de reconnaissance. Le jeu de données DukeMTMC (depuis fermé) a fait la même chose et il a été montré plus tard qu’il était largement utilisé par le gouvernement chinois pour entraîner un système de surveillance à l’encontre des minorités ethniques. À l’université de Stanford, des chercheurs ont récupéré des images d’une webcam d’un café populaire à San Francisco pour en faire une base de données de recherche pour la reconnaissance faciale dont l’utilisation est allée bien au-delà des cadres éthiques préliminaires. MS-Celeb, la base de données de Microsoft, forte de 10 millions d’images de célébrités a pillé ses images en ligne. On y trouve même les photos de célébrités critiques à l’encontre des technologies de surveillance comme Evgeny Morozov ou Shoshana Zuboff ! Sur les problèmes des bases de données d’entraînement de l’IA, je vous renvoie à l’excellent site Exposing AI d’Adam Harvey (@adamhrv) et Jules LaPlace (@comicsands) qui documentent justement ces pillages.

Les données sont là pour être acquises, raffinées et profitables. L’injonction à la collecte est partout. L’impératif à capitaliser les données pour améliorer les systèmes s’impose sans égard pour les impacts négatifs ou éthiques de ces collectes. Le data mining s’impose finalement en nous faisant croire que la donnée n’est jamais quelque chose de personnel, d’intime ou qui dépend du contrôle individuel. La donnée est toujours décrite comme quelque chose qui doit être consommé, un flux à contrôler, un investissement à exploiter. Quand on compare la donnée au nouveau pétrole, on parle rarement du coût que représentent l’exploitation et l’extraction pétrolière : le travail forcé, les conflits géopolitiques, l’épuisement des ressources… induits. « La donnée est devenue un mot exsangue : qui dissimule à la fois son origine matérielle et ses fins ». En transformant le contenu en matériel abstrait et immatériel, le terme de données permet finalement d’exclure bien des responsabilités sur la manière dont ces matériaux sont extraits et utilisés. Pour Jathan Sadoswki (@jathansadowski), les données sont devenues un capital comme un autre. L’extraction massive de données est « la nouvelle frontière de l’accumulation et la prochaine étape du capitalisme ». La datafication nous a détournés de l’éthique : les sujets de données ne semblent plus jamais considérés comme de véritables sujets humains.

Crawford est sévère dans son constat. La recherche en IA est faite sans procédure d’examen éthique. Les mathématiques, les statistiques et l’informatique n’ont jamais été considérées, historiquement, comme des formes de recherches sur des humains, contrairement aux recherches biomédicales ou psychologiques par exemple. La sortie des recherches en IA de leurs laboratoires pour se déployer dans le monde réel comme pour prédire la récidive criminelle ou calculer les bénéficiaires de l’aide sociale a fait exploser la production de préjudices, non pas à des données, mais à des personnes bien réelles ! Et le risque augmente à mesure que les systèmes accèdent aux données « sans jamais interagir avec leurs sujets ». En ne reposant que sur des données sans considérations humaines, le risque est que l’inexactitude devienne le socle de l’IA et des systèmes, prévient la chercheuse. Comme le montre par exemple CalGang, la base de données sur les gangs, largement utilisée par la police en Californie, dont on a montré pourtant les innombrables failles. Pour Crawford, « cette séparation des questions éthiques et des questions techniques reflète un problème plus large dans le domaine, où la responsabilité des dommages n’est pas reconnue ou considérée comme dépassant le cadre de la recherche ». Dans le domaine de l’IA, trop souvent, « la recherche se produit dans le vide, sans aucune responsabilité pour les idées qu’elle propage ». Les systèmes de données permettent aux chercheurs et ingénieurs de se mettre à distance psychologique des gens que les données représentent. La dépersonnalisation que produit la mise en jeu de données permet de croire que « le monde peut être capturé, utilisé sans restriction et interprété hors de tout contexte ». Comme si le monde n’était finalement qu’un terrain de jeu.

À mesure que ces collectes se multiplient, les enjeux en matière de vie privée deviennent plus importants que jamais, à l’image de la capture par Google des données de santé de plusieurs millions de Britanniques dans un partenariat avec le service de santé anglais. Partout, la capture commerciale de données érode les biens communs. La ruée vers l’or de l’IA consiste à annexer à différents champs de connaissance humains, tout type de données disponibles, dans une logique expansionniste sans fin. Nous sommes confrontés à « un pillage de l’espace public ». « Le mythe de la collecte de données en tant que pratique d’une informatique bienveillante masque des opérations de pouvoir, protégeant ceux qui en profitent le plus tout en leur évitant d’être responsables de ses conséquences ».

Les biais sont la nature même de la classification

Classer, faut-il le rappeler, est l’une des principales fonctions de la science, que ce soit le vivant ou des éléments. C’est ce que faisait le craniologue et phrénologue américain Samuel Morton avec sa collection de crânes au début du XIXe siècle. Son objectif était de hiérarchiser les races objectivement en comparant les caractéristiques physiques des crânes de différentes populations. Mais comme l’a montré le paléontologue Stephen Jay Gould dans La mal-mesure de l’homme, Morton a surtout arrangé ses calculs pour qu’ils servent ses objectifs racistes. Cet héritage épistémologique de classification et de mesures, de corrélation entre morphologie et intelligence, ces tentatives de classification qui se voulaient dépolitisées alors qu’elles étaient on ne peut plus politiques… se retrouvent dans les systèmes d’IA qui en sont les descendants directs. Les systèmes d’IA sont conçus pour produire des classements et donc des formes de discrimination. « Les systèmes de classement sont des technologies très puissantes », soulignent Geoffrey Bowker et Susan Leigh Star dans leur livre de référence sur le sujet (MIT Press, 1999). « Incorporées dans des infrastructures, elles deviennent relativement invisibles sans rien perdre de leur puissance ». L’IA fonctionne là comme une boucle de logique circulaire, qui naturalise les hiérarchies et magnifie les inégalités, en utilisant la classification pour encoder son pouvoir.

Il y a encore 10 ans, la question des biais dans l’IA était encore un sujet peu commun, rappelle la chercheuse. Mais les exemples de pratiques discriminantes sont désormais légion : des biais de genre dans les algorithmes de crédit d’Apple, au racisme des systèmes de mesures de la récidive, aux biais d’âges des publicités ciblées de Facebook… Les biais sont partout ! Le phénomène de leur découverte est répétitif d’ailleurs. Un journaliste, un chercheur, un lanceur d’alerte révèlent comment un système produit des résultats discriminatoires. L’entreprise promet de résoudre le problème en rendant le système plus opaque qu’il n’était et assure que le problème a été traité… jusqu’au prochain problème. Mais pourquoi ces problèmes sont-ils récurrents ?

En 2014, Amazon a automatisé son recrutement en entraînant son système depuis les CV de ses employés. La direction des ressources humaines a commencé à utiliser cet outil en complément de leurs pratiques habituelles et rapidement a constaté qu’il ne recommandait pas de femmes. Après avoir mis à jour son système en ôtant les références explicites au genre, les biais persistaient, notamment parce qu’il s’appuyait sur une analyse sémantique de termes différemment utilisés par les hommes et les femmes. Le système, entraîné depuis des CV d’hommes, a appris à les recommander. Les pratiques d’emploi passées et présentes d’Amazon influaient sur son avenir. Amazon a fini par remiser son outil, démontrant son incapacité à le réparer. Pourtant, « l’industrie de l’IA continue à penser que les biais demeurent un bug à réparer plutôt qu’une fonction de la classification elle-même » ! Pour l’industrie, l’enjeu est de produire une meilleure parité quantitative entre les groupes. Pour Crawford, il est nécessaire de mieux comprendre que le biais est la nature même de la classification. Pour la sociologue Karin Knorr Cetina, dans son livre Epistemic Cultures (Harvard UP, 1999, non traduit), la « machinerie épistémique » créée un « ouroboros statistique », une machine à discriminer qui se renforce et amplifie les inégalités sociales sous couvert de neutralité technique.

« Les affordances des outils deviennent l’horizon de la vérité »

Crawford prend un autre exemple pour montrer la limite intrinsèque à débiaiser les systèmes. En 2019, IBM a tenté de répondre aux critiques sur les biais de ses systèmes en créant un jeu de données plus « inclusif », Diversity in Faces (DiF). DiF se voulait une réponse aux critiques de Joy Buolamwini (@jovialjoy) et Timnit Gebru (@timnitgebru), qui avaient pointé les limites des systèmes de reconnaissance faciale d’IBM, Amazon et Microsoft, et notamment leur fort taux d’erreur à l’encontre des peaux les plus sombres et des femmes. Pour améliorer la reconnaissance faciale, IBM a décidé d’utiliser un jeu de données de cent millions d’images provenant de Flickr pour élargir la diversité de son jeu d’entraînement. Pour mieux représenter les différences, ils ont mesuré les distances craniofaciales entre différents points de repère des visages : yeux, profondeurs nasales, hauteur des lèvres… Une forme de phrénologie pour déterminer des classifications !

Le but des chercheurs était d’améliorer la diversité de la reconnaissance faciale. Pour labelliser les visages selon le genre, l’équipe d’IBM fit appel à des microtâcherons pour annoter les portraits selon une catégorie binaire : femme ou homme, dépendant d’un simple jugement. En cas de difficulté à classer quelqu’un, l’image était purement et simplement retirée de la base. Pour IBM, « l’équité » a été réduite pour signifier des taux de précision plus élevés pour la reconnaissance faciale par la machine, et la « diversité » réduite à un plus large éventail de visages pour entraîner le modèle ». L’analyse craniométrique était utilisée pour « dépolitiser l’idée de diversité et la remplacer par un accent sur la variation ». De nouvelles variables permettaient d’établir de nouvelles catégories. À nouveau, la pratique de classification était utilisée pour décider « quelles différences faisaient la différence ». Au final, la recherche se révélait encore plus problématique que ne l’était son biais originel !

Pour les chercheurs d’IBM, nos héritages et nos identités se réduisaient à des mesures phrénologiques, comme si nos identités étaient biologiques avant d’être politiques, culturelles ou socialement construites ! Pour Simone Browne (@wewatchwatchers), auteure de Dark Matters (Duke UP, 2015, non traduit), il s’agit là d’une « épidermalisation numérique », qui consiste à imposer la race sur le corps, à imposer une « vérité » sur l’identité en dépit des revendications des sujets. La détection des couleurs de peaux est produite parce qu’elle est possible, pas parce qu’elle pourrait dire quelque chose sur la race ni parce qu’elle pourrait produire une meilleure compréhension culturelle, souligne Kate Crawford. De même, les mesures crâniennes sont faites parce qu’elles peuvent être produites par les machines. « Les affordances des outils deviennent l’horizon de la vérité ». La capacité à déployer des mesures crâniennes et des mesures de la couleur de l’épiderme à grande échelle stimule la capacité à trouver du sens dans ces approches, même si elles n’en portent aucune ! Elles sont utilisées pour aggraver une compréhension problématique de la précision. « Les revendications techniques sur la précision et la performance sont généralement traversées par des choix politiques sur les catégories et les normes, mais sont rarement reconnues comme telles. Ces approches sont fondées sur une prémisse idéologique selon laquelle la biologie est un destin, où les traits des visages deviennent une fatalité ». Ce terrible exemple souligne très bien les limites des questions de responsabilité ou de debiaisages que produit l’industrie de l’IA pour répondre aux critiques qui lui sont adressées.

Dans son livre, Kate Crawford revient plus longuement sur la question des biais et le rôle de la classification, pour en retracer l’histoire, des statistiques à l’IA, en passant bien sûr par les biais cognitifs, soulignant que les biais sont par nature bien plus qu’une simple erreur technique, mais sont profondément ancrés dans les croyances et les stéréotypes humains. Créer un jeu de données consiste à fixer un monde complexe et varié en taxonomies discrètes. Elle revient en détail sur l’histoire d’ImageNet et de WordNet et leurs innombrables limites, comme le fait que dans ce dictionnaire de classification utilisé pour étiqueter des images, la catégorie Human Body ne distinguait que des hommes et des femmes (il y a bien une catégorie « hermaphrodite » (sic), mais qui est relié à la sexualité pas à la corporalité !). Ce réductionnisme n’est pas propre à l’IA ni à l’épistémologie ! Les catégorisations nocives sont courantes et nombreuses. Jusqu’en 1973, l’association psychiatrique américaine classait l’homosexualité comme un désordre mental ! Os Keyes (@farbandish) dans une étude pointait que 95 % des articles de recherche dans le domaine de la reconnaissance faciale de genre décrivaient le genre comme immuable et physiologique ! En assignant un genre, une race ou une identité aux gens, nos systèmes automatisés ne font certes que prolonger ce que nos systèmes administratifs ont produit durant des siècles en appliquant des labels fixes et des propriétés définies à des humains. Le problème, c’est que n’est assurément pas la même chose de le faire d’un point de vue statistique que de le faire pour des machines qui vont produire depuis ces propriétés des différences effectives. Il y a là un changement de nature irréductible et qui devrait être impossible à franchir ! Ce fossé reste visiblement invisible aux suprémacistes numériques comme dirait Tariq Krim, c’est-à-dire à ceux qui pensent que tous les problèmes du monde se résolvent par des équations mathématiques et du machine learning…

Dans les 22 000 catégories d’ImageNet, la nomenclature utilisée écrase toute variété dans une épistémologie qui mêle le concret et l’abstrait (« une pomme » et « la santé »), le descriptif et le jugement (« une personne » et « un PDG »). Derrière son objectif d’objectivité, tout classement est profondément un exercice idéologique. Derrière la profusion classificatoire subsiste le jugement des apparences. Depuis 2009, ImageNet a plusieurs fois purgé ses catégories, malgré cela, nombre de catégories restent problématiques, comme l’a montré l’ImageNet Roulette, un projet que la chercheuse a mené avec l’artiste Trevor Paglen (@trevorpaglen). Les créateurs d’ImageNet ont depuis réagi en proposant d’améliorer leur jeu de données, les amenant à enlever 56 % des catégories descriptives (touchant 600 000 images). Les catégories n’en restent pas moins souvent problématiques. Qu’est-ce qui justifie une distinction entre un professeur assistant et un professeur associé par exemple ? La classification montre qu’il n’y a pas de neutralité en la matière. Même si les termes offensants peuvent être enlevés, toute classification est rapidement politique, quand elle ne sombre pas dans les erreurs, les stéréotypes ou les absurdités. ImageNet doit être une leçon pour comprendre ce qu’il se passe quand les gens sont catégorisés comme des objets, estime Crawford. Les schémas classificatoires utilisés par des entreprises comme Facebook sont certainement tout aussi problématiques, mais bien plus difficiles à révéler et à critiquer, car ils demeurent fermés à toute inspection.

« Les images, comme toutes formes de données, sont chargées d’innombrables sens potentiels, de questions insolubles et de contradictions ». L’enjeu à rendre les données plus justes en effaçant les termes les plus offensants échoue à contenir la puissante et problématique dynamique de la classification. Quand bien même les pires erreurs sont repérées et corrigées, cette approche au final reste fondamentalement construite sur une relation extractive et problématique à la donnée.

Le fait de produire des catégories d’attribution de genre ou de race permet aux machines d’assigner aux corps des identités. La race et le genre deviennent alors un fait assumé, explique Simone Browne dans Dark Matters. Le jeu de données UTKFace comporte 20 000 images avec des annotations d’âge, de genre et de race… Il est utilisé pour une grande variété de tâches, de la détection faciale à l’estimation de l’âge… L’âge des portraits y est pourtant estimé. Le genre y est binaire. La race est réduite à 5 catégories (blanc, noir, asiatique, indien et « autres »). Malgré ses défauts, ce type de catégorisation est largement utilisé dans nombre de jeux d’entraînements qui servent à alimenter le pipeline de l’IA. Le schéma de race qu’il utilise tire ses racines de celui utilisé dès les années 50 par l’Afrique du Sud durant l’Apartheid. Dans les années 50, le gouvernement sud-africain a créé un référentiel brut pour diviser sa population en catégories raciales. IBM, chargé de produire une base de données centralisée pour le gouvernement sud-africain n’a cessé de réarranger les classifications. Et pour cause ! Comment classifier ces variations ? Luke Stark (@luke_stark) soulignait très bien que la difficulté de cette logique classificatoire plutôt que réifier des catégories ou en produire des nouvelles, consiste surtout à reproduire des inégalités et à les exacerber. « La reconnaissance faciale est le plutonium de l’IA », concluait le chercheur. Pour Crawford, tel qu’ils sont utilisés aujourd’hui, les systèmes de Machine Learning construisent la race et le genre.

Alors que doit-on faire ? La justice dans les systèmes d’IA ne sera jamais quelque chose qui peut être codé ou calculé, affirme Crawford. Cela nécessite de dépasser les questions de parité statistique ou d’évaluation des systèmes. Cela nécessite de comprendre également l’impact de ces systèmes. Pour Bowker et Star, il faudrait pouvoir avoir une approche plus sensible, capable de distribuer de l’ambiguïté plutôt que de chercher à la résoudre. Pour Crawford, ces limites doivent plutôt nous aider à délimiter des frontières où l’IA ne devrait pas être utilisée. « L’histoire de la classification nous montre que les plus dommageables formes de catégorisation – de l’apartheid à la pathologisation de l’homosexualité – ne disparaissent pas en les mettant sous la lumière de la recherche scientifique et de la critique éthique ». Le changement nécessite l’organisation politique, des protestations soutenues et des campagnes politiques massives et durables. Comme le disait l’abolitionniste Frederick Douglass, le pouvoir ne concède rien sans demande. Mais dans les régimes largement et trop invisibles des catégorisations du machine learning, il est encore plus dur de faire des demandes et de s’opposer à leur logique interne. À nouveau, les jeux de données publics nous permettent de voir les problèmes, mais ils ne sont que la face émergée du problème face aux moteurs de classifications provenant des entreprises privées.

Et encore, pourrait-on ajouter. En se focalisant, avec raison, sur le genre et la race, il semble néanmoins qu’on oublie ou minimise d’autres types de classements, tout aussi problématiques, mais peut-être plus difficilement discernables encore, comme les classements sociaux, liés aux études ou aux revenus. Dans un monde où les classements sont rendus exécutables, tous les classements posent désormais problème.

La mal-mesure des sentiments : la critique ne produit pas d’abandon

À la fin des années 60, le célèbre psychologue Paul Ekman s’est rendu en Papouasie-Nouvelle-Guinée à la rencontre des Okapa, une tribu isolée. Son but : savoir si les émotions étaient universelles ! Complémentaires aux outils de reconnaissance faciale, les outils de reconnaissance des émotions se déploient désormais partout, aux systèmes de sécurité des aéroports, dans les outils d’embauche automatisés, dans les outils d’évaluation de l’éducation en passant par les outils de détection des troubles psychiatriques aux programmes policiers qui revendiquent être capable de prédire la violence… Mais tout comme le genre ou l’appartenance raciale – on l’a vu – sont liés à l’apparence, l’analyse de l’état intérieur d’une personne repose elle aussi sur un malentendu : le fait de croire qu’on peut évaluer les sentiments d’une personne depuis l’expression de son visage. Pourtant, là encore, assène Crawford, « il n’y a aucune évidence fiable qu’on puisse déduire avec précision l’état émotionnel de quelqu’un depuis son visage ». Ça n’empêche pas le champ de recherche de la reconnaissance de l’émotion d’être florissant. Tout comme celui de la reconnaissance faciale pourtant, il poursuit un but extractiviste, celui d’extraire plus d’information sur les gens qu’ils ne souhaitent en donner. Lui aussi s’appuie sur la mal-mesure et de la mauvaise science pour produire de l’idéologie. La reconnaissance des émotions a pour but de détecter et classifier les émotions depuis l’analyse de n’importe quel visage. Dans le secteur de la détection des affects, les compétiteurs sont nombreux : Human, HireVue, Emotient et Affectiva sont parmi les entreprises du secteur les plus connus. Mais Amazon avec Rekognition, Microsoft avec Face API et IBM (toujours !) sont également de la partie…

En retraçant l’histoire de l’analyse de sentiment, Crawford pointe le rôle déterminant joué par Paul Ekman et les financements que celui-ci reçut de l’Arap (l’ancêtre de la Darpa, là encore la Défense est au coeur du financement des techniques de surveillance déployées par l’IA). Pour faire la démonstration que l’expression des sentiments était universelle, Ekman va montrer aux Orka des images d’expressions faciales et leur demander d’appliquer un sentiment à chacune (parmi une courte sélection : la joie, la peur, le dégoût, la colère, la surprise et la tristesse). Il répétera cette méthode auprès d’autres sujets et constatant que les réponses étaient proches, déclarera que les expressions faciales de l’émotion sont universelles.

Là encore, pourtant, si on remonte aux origines de ce champ de recherche, on trouvera un champ disciplinaire problématique : la physiognomonie ! Des recherches du criminologue Cesare Lombroso, qui tente de relier délinquance et caractéristiques physiques, aux travaux du fondateur de la neurologie Duchenne, qui va utiliser les chocs électriques pour stimuler les mouvements de muscles faciaux spécifiques et les cartographier. Les photographies de Duchenne demeurent emblématiques : ses stimulations électriques sont faites sur des personnes vulnérables et la vérité qu’elles produisent, comme le « sourire authentique », sont en fait hautement fabriquées. En 1971, Ekman publie le Facial Action Scoring Technique (Fast) qui détermine 6 types émotionnels, accompagnés de photographies posées pour établir leurs caractéristiques. Il prolongera ce travail d’une sorte de dictionnaire plus précis (Facs) identifiant les contractions musculaires de différents points du visage pour chaque expression et au début des années 80 aura recours aux ordinateurs pour automatiser ses mesures et à des jeux d’images liées là encore à la répression de la criminalité. Différents travaux supplémentaires, notamment de ses étudiants, donneront naissance à la Cohn-Kanade emotional expression dataset et à ses descendants, comme le Karolinska Directed Emotional Faces. Ces bases de données d’expression faciales et leurs successeurs apportent deux choses importantes : un jeu de caractéristiques stables et limitées qui peuvent être utilisées pour catégoriser les expressions faciales et un système pour produire des mesures. Ainsi que des registres d’expressions, extrêmes, exagérées, souvent produites avec des acteurs.

Les applications des travaux d’Ekman ont donné naissance aux outils de détection de mensonge et notamment au programme Spot de l’administration de la sécurité des transports américains. Spot a été utilisé suite aux attaques du 11 septembre pour détecter les expressions faciales des voyageurs passant les contrôles aériens afin de détecter les terroristes depuis 94 critères et notamment les signes de stress, de peur ou de mensonge. Or, rappelle Crawford, ces assignations à certaines catégories ne sont pas neutres. Certains groupes seront plus désavantagés que d’autres. Les gens stressés, qui ne sont pas à l’aise avec les questions, ou ceux qui ont des expériences négatives avec la police ou les gardes-frontières auront automatiquement des scores plus forts. Le programme Spot a été abondamment critiqué par de nombreuses organisations pour son manque de méthodologie scientifique et malgré son coût (900 millions de dollars), n’a pas produit de succès clairs !

Les critiques à l’encontre des travaux d’Ekman et de ses succédanés ont été nourries. Pour l’anthropologue Margaret Mead, l’expression n’est ni universelle ni biologique, mais dépend surtout de facteurs culturels. Pour les psychologues James Russell et José-Miguel Fernandez-Dols, auteurs de The Psychology of Facial Expression, le fait que le visage exprime des émotions claires est plus contreversé qu’on le pense. Pour Maria Gendron et Lisa Feldman Barrett (@lfeldmanbarrett), les expressions faciales n’indiquent pas nécessairement un état intérieur particulier : les systèmes peuvent détecter un air renfrogné, mais cela ne signifie pas nécessairement qu’elles détectent de la colère. L’historienne des sciences, Ruth Leys, dans The Ascent of Affect (UP Chicago, 2017, non traduit), souligne enfin que nos expressions varient selon les personnes ou les situations dans lesquelles ont les exprime, comme quand on est seul ou en groupe…

En fait, l’IA est entraînée à reconnaitre de fausses expressions de sentiments, depuis des expressions exagérées mimées par des acteurs, faisant fit de combien nous avons pourtant du mal, en tant qu’humains, à interpréter les expressions faciales d’autrui, tout comme il nous est facile d’exprimer des choses sans les ressentir : tout le monde a déjà souri sans être heureux ! Pourtant, constate Crawford, aucune de ces objections sérieuses n’a suffi à arrêter la reconnaissance de l’émotion. La critique, hélas, ne produit pas d’abandon ! Lisa Feldman Barrett a conduit une méta-étude pour montrer que les expressions faciales n’étaient ni des empreintes ni des manifestations de diagnostiques qui établiraient l’état émotionnel. Plus récemment encore, Luke Stark (qui prépare un livre sur le sujet) dans une interview pour OneZero, rappelait lui aussi que nos réponses émotionnelles sont intrinsèquement interpersonnelles. La recherche d’indicateurs quantifiables (comme le rythme cardiaque ou la pression sanguine tout comme les sophismes physiognomoniques) reste un moyen d’assurer une relation de pouvoir par la mesure, d’assurer une forme de contrôle moral, « d’impérialisme émotionnel ».

Pour Crawford, ces systèmes qui tentent de lire nos émotions relèvent d’une politique des visages. Les interprétations émotionnelles sont pourtant truffées d’erreur, au détriment bien sûr, toujours, des minorités : les visages noirs ont tendance à être plus souvent corrélés à des sentiments négatifs que les blancs, comme l’a montré Lauren Rhue. Pour Crawford, les systèmes de détections d’émotion ne font pas ce qu’ils affirment ! Le problème, c’est que malgré leurs défauts, malgré les critiques, ces systèmes se répandent rapidement à la recherche de nouveaux marchés. Une science qui n’en est pas, prend des parts de marché, mais surtout étant son pouvoir depuis des outils profondément problématiques et qui ont des effets très concrets sur l’existence des gens.

Une industrie du pouvoir

Les révélations d’Edward Snowden nous ont montré que le secteur de l’IA s’étendait bien au-delà de ce qu’on en voyait. Que derrière l’IA des entreprises privées et de la recherche publique, un autre secteur se déployait en secret : celui des agences de renseignements, de l’armée et la Défense, qui depuis l’origine orientent la recherche en IA, comme le rappelle l’historien des sciences Paul Edwards dans Un monde clos (B2, 2013). Ils ont profondément façonné ce que l’IA est devenue.

Comme le souligne le philosophe Achille Mbembé (@achillembembe1) en définissant la nécropolitique, nous sommes confrontés à la production infrastructurelle de structures de guerre. Les relations entre l’industrie de l’IA et la surveillance militaire s’étendent bien au-delà du contexte de sécurité. Les technologies accessibles d’abord uniquement aux agences de renseignements – « extralégales par design » – se sont infiltrées bien au-delà, et notamment jusqu’aux autorités locales. L’industrie de l’IA reconfigure le rôle traditionnel des autorités.

« L’État prend l’armature d’une machine parce que les machines ont déjà pris les rôles et les manifestations de l’État ». Et cet entrecroisement n’a cessé de s’intensifier. De 2015 à 2017, Ash Carter, secrétaire à la Défense des États-Unis a défendu la « Third Offset Strategy », un programme de réponse technologique reposant sur la domination américaine dans le secteur de l’IA et renforçant les relations entre la défense et le secteur technologique. L’un des exemples que saisit Crawford pour montrer la production de cet entrecroisement est le projet Maven, qui repose sur la transformation de l’infrastructure technologique du département de la Défense en passant des contrats avec le secteur commercial de la tech, pour aligner leurs intérêts. Maven a ainsi contracté avec Google pour utiliser TensorFlow pour améliorer leur ciblage de drones. En 2018, quand les employés de Google ont découvert ce contrat, plus de 3000 d’entre eux ont signé une lettre de protestation. Le contrat est ensuite passé à Microsoft, alors que Google publiait ses principes pour l’IA rejetant tout usage de l’IA contraire aux normes internationales. Pour Eric Schmidt, à l’époque président d’Alphabet cependant, l’usage de l’IA dans les opérations militaires n’est pas tant rejeté d’un point de vue éthique : elle doit être une question de précision et d’exactitude technique !

La fin du projet Maven n’a pas mis fin aux collaborations de Google avec le département de la Défense, au contraire. Les entreprises de la tech continuent de s’aligner aux intérêts des États-Unis, dans une politique largement patriotique. Mais surtout, souligne Crawford, les technologies ne sont pas réservées aux zones de guerre et à l’espionnage de masse, elles sont désormais déployées partout et à tous les niveaux, notamment dans les agences de l’aide sociale et pour le maintien de l’ordre public. Pour la chercheuse, les technologies militarisées de détection de de menace se déplacent désormais au niveau des services municipaux et des institutions d’État, à l’image de Palantir qui investit nombre de services d’État, de la mécanique d’extraction de données qui fait fonctionner les systèmes de l’agence fédérale de police aux frontières américaine ou les agences du département de la santé pour détecter la fraude au système d’assurance santé américain Medicare. Pour Crawford, les systèmes de Palantir ont une similarité structurelle avec les systèmes déployés par la NSA et permettent d’élargir les techniques de surveillance partout. La sociologue Sarah Brayne (@sarah_brayne, qui vient de publier Predict & Surveil, Oxford UP, 2020, non traduit, une enquête glaçante dans l’usage de Palantir) a observé le fonctionnement de Palantir in situ, par la police de Los Angeles et a souligné combien il transformait le processus de surveillance, au détriment des immigrants, des sans-papiers, des pauvres et des personnes de couleurs, des populations qui sont encore plus surveillées parce qu’elles sont surveillées.

« L’inégalité n’est pas seulement aggravée, mais elle est aussi technicisée, justifiée par des systèmes qui semblent à l’abri de l’erreur, mais qui, en fait, intensifient les problèmes de surpolice et de surveillance raciste ». Les départements de police sont « NSA-ifiés ». Les États et autorités locales achètent ces systèmes en déclinant leurs responsabilités pour les problèmes créés par des systèmes qu’ils ne maîtrisent pas. Pour Crawford, les systèmes d’IA qui influencent les décisions des autorités devraient être reconnus comme responsables de leurs effets, comme elle le défendait dans un essai avec le professeur de droit Jason Schultz (@lawgeek). On en est loin. En fait, les services technologiques achetés à des entreprises privées permettent trop souvent de contourner les obligations légales qui s’imposeraient aux acteurs publics.

Crawford livre d’autres exemples à cette pratique du contournement légal, comme le propose Vigilant Solutions, un service qui installe des caméras de surveillance pour lire automatiquement les plaques minéralogiques des voitures et qui vend l’accès à sa base à la police, aux banques ou aux compagnies d’assurances… Vigilant a signé des partenariats avec les autorités locales du Texas, de la Californie ou de la Géorgie en permettant à la police d’utiliser sa base de données. L’entreprise a aussi signé un partenariat avec la très décriée agence fédérale de police aux frontières américaine (ICE). Or, la réglementation impose à cette dernière ne pas collecter de données dans des endroits sensibles comme les écoles, les églises ou les manifestations. Des restrictions qui ne concernent pas Vigilant ! Derrière la privatisation de la surveillance se cache un moyen de contourner la réglementation. Les différences de pratiques de surveillance privées et publiques ne s’érodent pas tant : elles se complètent pour contourner les limites qui leur sont imposées, pour exploiter les failles de la loi, comme le pointait très bien l’avocat Arié Alimi. Crawford évoque encore les réseaux de voisinage ou les caméras de surveillance Ring d’Amazon qui permettent à la police de faire des requêtes auprès de leurs propriétaires sans nécessité de mandat (voire notamment notre article « Quel contrôle démocratique sur la vidéosurveillance privée en réseau ? »).

La logique de ciblage militaire repose sur l’idée de signature, c’est-à-dire sur une modélisation comportementale qui permet de distinguer un individu d’un autre, permettant de tuer une personne depuis un drone sur la base des métadonnées recueillies. Or, rappelle la chercheuse, la frappe depuis une signature ne relève pas de la précision, mais de la corrélation. Quand un motif est détecté dans les données, la suspicion devient suffisante pour passer à l’action. Ce mode de décision basé sur la reconnaissance de spécificités est un des principes de fonctionnement de l’IA. Le plus souvent, il s’appuie sur un score, une évaluation que l’on retrouve partout dans l’évaluation du risque. Lors de la crise des réfugiés syriens de 2015, IBM a été approché pour créer une plateforme de détection des risques afin d’évaluer la possibilité que les réfugiés soient connectés au jihadisme. IBM a créé un « score de terrorisme », une évaluation de la menace dont les limites posent plus de problèmes qu’ils n’en résolvent.

Malgré leurs lacunes intrinsèques, que ces logiques de calcul et de surveillance ne cessent pourtant de s’étendre. Partout dans le monde, des systèmes calculent des comportements pour récompenser certains et en pénaliser d’autres. Le problème c’est que tous reposent sur des techniques incertaines et faillibles, comme on l’a vu pour la reconnaissance faciale ou la détection de sentiments. La technologie produit un « nouveau régime de classification sociale moralisée », comme le pointent les sociologues Marion Fourcade et Kieran Healy (@kjhealy) qui désavantagent les moins privilégiés. La production de score est devenue le lieu ou les signatures militaires et commerciales se combinent pour produire des estimations problématiques. La logique du calcul de score affecte bien sûr bien d’autres domaines, comme l’aide sociale. Pour Virginia Eubanks (@poptechworks), le déploiement de ces systèmes vise surtout à restreindre l’accès à l’aide sociale plus qu’à apporter une meilleure aide à ceux qui en ont besoin. Le problème, estime Crawford, c’est que nous importons partout la logique intrinsèquement punitive et discriminatoire de ces systèmes. Pour Kate Crawford, ces systèmes révèlent là leur idéologie sous-jacente : une philosophie massive de command and control infrastructurelle qui s’impose par une combinaison de techniques extractivistes de données, de logiques de ciblage et de surveillance. « L’argent et les ressources consacrés à une surveillance sans relâche font partie d’un rêve de contrôle centralisé qui s’est fait au détriment d’autres visions de l’organisation sociale ». Les méthodes et outils de la NSA se répandent aux salles de classe, aux commissariats, aux lieux de travail, jusqu’aux bureaux de recherche d’emploi. Nous sommes confrontés à une logique de pouvoir asymétrique par nature, qui arme ceux chargés de servir les citoyens.

L’IA est une arme tournée contre nous

Face à la logique du technopouvoir, Crawford n’est pas tendre. L’IA n’est ni objective ni universelle ni neutre. Elle est conçue pour discriminer, pour amplifier les hiérarchies, pour encoder des catégorisations. Elle bénéficie avant tout aux entreprises et autorités qu’elle sert. L’IA est l’expression même du pouvoir, créée pour augmenter les profits et centraliser le contrôle au profit de ceux qui l’utilisent. Derrière la magie des systèmes, il n’y a qu’un « déterminisme enchanté », qu’un pouvoir sans responsabilité. L’IA grandit dans son aura techniciste se présentant toujours comme trop complexe pour être régulée et trop puissante pour être refusée. Par sa propre mystification, elle s’impose partout comme inévitable. Pourtant, conclut Crawford, le pouvoir de l’IA repose avant tout sur l’exploitation des bénéfices de ce que la société a bâti. Les datacenters de Google à Dalles, dans l’Oregon, n’existeraient pas s’ils ne pouvaient exploiter les infrastructures publiques qui permettent de produire l’hydroélectricité la moins chère du pays. L’expansion de l’IA n’a été possible que parce qu’elle a été largement aidée et subventionnée par l’État, des fonds de recherche, aux contrats publics, des exonérations fiscales aux déréglementations des législations du travail… « L’IA a été lancée comme un projet public et a été peu à peu privatisée pour apporter des gains financiers considérables à une petite minorité au sommet de la pyramide extractiviste ».

L’IA, par nature, rend abstrait l’énergie, le travail et le capital et tout l’extractivisme nécessaire pour la produire. L’IA n’est que l’ultime manifestation de l’intrication de la technologie, du capital et du pouvoir. « Pour comprendre l’IA, nous avons besoin de voir les infrastructures de pouvoir qu’elle sert ». Dans cette cartographie de l’extraction, tout ce que l’on peut voir dans le monde réel est désormais copié dans des bases de réel, tout comme Google Street View semble le miroir du monde réel. Mais un miroir infidèle, qui masque notamment que cette copie demeure la propriété de Google, pas de tous, et qu’elle repose sur des agencements discrétionnaires. L’IA repose sur le pillage de tout ce qui peut être pillé, comme une accélération de sa brutalité même, comme le dirait Achille Mbembé. Les jeux de données ne sont jamais des matériaux bruts : ils sont profondément des interventions politiques. « Toute la pratique consistant à récolter des données, à les catégoriser et à les étiqueter, puis à les utiliser pour former des systèmes est une intervention politique ». » « Les biais sont le symptôme d’un mal plus profond : une logique normative vaste et centralisatrice qui sert à déterminer comment le monde doit être vu et évalué ». Derrière l’enjeu à rendre le monde lisible par des machines, nous formalisons le social dans un jeu d’approximations sans fin.

Bien sûr, l’enjeu de réorienter l’IA vers plus de justice, vers plus de démocratie est capital… Mais pour Crawford, les infrastructures et formes de pouvoir que permettent et qui sont permises par l’IA sont profondément orientées vers la centralisation et le contrôle. Cela signifie que démocratiser l’IA pour réduire son asymétrie de pouvoir c’est un peu comme argumenter pour démocratiser l’industrie de l’armement au service de la paix. « Les outils du maître ne démontent pas la maison du maître », disait la poétesse afro-américaine Audre Lorde.

La réponse de l’industrie de l’IA à l’ensemble de ces constats consiste à promouvoir des principes éthiques. En 2019, on comptait plus de 129 cadres pour l’éthique dans l’IA en Europe. Mais ces cadres, très consensuels, restent bien plus l’expression de ceux qui produisent l’IA que ceux qui en subissent les préjudices. Ils demeurent généraux, proposent des fins plus que méthodes d’applications concrètes. Contrairement à la médecine ou à la justice, l’IA n’a pas de structure de gouvernance professionnelle formelle et de normes. « L’auto-régulation éthique permet aux entreprises de choisir comment déployer leurs technologies et surtout de décider ce que l’éthique de l’IA signifie pour le reste du monde ». L’industrie de l’IA n’endure jamais de pénalités financières lourdes quand leurs systèmes enfreignent les lois ou leurs propres principes éthiques. Partout l’éthique est accessoire sur les profits. Pour comprendre ce qui est en jeu, nous devons nous focaliser plus sur le pouvoir que sur l’éthique, conclut celle qui a pourtant beaucoup promu et aidé à structurer la réponse éthique quand elle était à l’AI Now Institute (@ainowinstitute). Plus que jamais nous avons besoin d’une nouvelle critique de la technologie, de nos expériences de la vie dans la technologie, disait Achille Mbembé. Pour Crawford, nous devons travailler à renverser le dogme de l’inévitabilité. Quand l’expansion de l’IA semble inarrêtable, nous ne pouvons intervenir qu’en corrigeant après coup les systèmes, que ce soit en nettoyant les bases de données, en renforçant les dispositions pour protéger la vie privée ou en créant des comités d’éthique. Mais ces réponses ne peuvent être que limitées, partielles, incomplètes… renforçant même l’idée que nous devons nous adapter à la transformation technologique.

Pour imposer un monde plus soutenable, il nous faut déterminer là où l’IA ne devrait pas être utilisée, là où elle compromet la justice ! Pour Crawford, nous devons travailler à une « nouvelle politique du refus ». Partout nous devrions demander des explications à l’usage de l’IA, questionner la logique de la prédiction statistique, de l’informatique de la domination qu’évoquait Donna Haraway. Nous voyons les premiers aperçus de ces refus quand les gens demandent le démantèlement de la police prédictive, l’interdiction de la reconnaissance faciale, ou les manifestations contre les notations algorithmiques… Ces victoires mineures sont encore trop souvent localisées et il est plus que jamais nécessaire de les élargir. « Refuser nécessite de rejeter l’idée que les mêmes outils qui servent le capital, le militaire, la police soient utilisés aussi pour transformer l’école, l’hôpital, la ville ou l’environnement, comme s’ils pouvaient être des calculateurs neutres qu’on pourrait appliquer partout et à tout. Nous devons élargir nos solidarités et faire converger nos demandes de justice. »

Appliquer ces techniques au monde réel, au social, semble plus que jamais en tout cas, la grande limite de l’IA. Reste à savoir comment reconfiner ces outils aux laboratoires dont ils n’auraient pas dû s’échapper ! Documenter, réduire et redresser les préjudices qu’ils déploient ! La puissante et documentée démonstration de Kate Crawford fait plus que nous y inviter : elle montre qu’elle est indispensable ! Pourtant, elle montre combien relever le déni de l’impact des systèmes sur le social est difficile. Il est probable que nous soyons là face au même défi que celui du déni climatique : le risque est de continuer à minimiser le problème pour ne pas se résoudre à des solutions d’ampleurs, pour ne pas changer de trajectoire. La promesse du business as usual, de la poursuite des gains de productivité, peine à nous aider à nous réorienter. Nous continuons à produire des systèmes discriminatoires comme nous continuons à utiliser les énergies fossiles, comme si toute remise en cause restait hors de portée, inatteignable, inévitable.

Hubert Guillaud