Partout, les chercheurs universitaires et les grandes entreprises de technologie débattent des meilleures stratégies pour identifier et nettoyer leurs algorithmes de tout préjugé, explique la chercheuse au Media Lab du Massachusetts Institute of Technology Chelsea Barabas (@chels_bar) dans un récent billet pour le blog du Media Lab sur Medium. Mais, comme le disait déjà Kate Crawford, cette quête est vaine, notamment parce que pour ôter les biais, il faut prendre des décisions qui risquent d’en générer de nouveau et sous couvert de corrections « techniques » prendre des décisions aux enjeux politiques conséquents : quelle est la bonne proportion de parité par exemple et comment la déterminer ? Pas si simple ! Il va nous falloir faire avec les biais, explique Chelsea Barabas. Pour elle, nous devons arrêter d’écouter les discours qui clament que les algorithmes nous offrent l’opportunité unique de corriger les biais de nos sociétés, à l’image de la récente tribune que le célèbre économiste comportemental Sendhil Mullainathan (@m_sendhil) tenait dans le New York Times où il expliquait qu’il était plus facile de réparer des algorithmes biaisés que les biais des gens.
« Il est beaucoup plus facile de réparer un appareil photo qui n’enregistre pas la peau foncée que de réparer un photographe qui ne voit pas les personnes à la peau foncée »
Ce spécialiste de l’audit des biais – connu notamment pour son livre sur la pénurie mais également pour une étude sur les biais racistes du marché du travail américain – estime qu’on peut facilement corriger les biais des systèmes notamment parce qu’ils sont plus facilement accessibles qu’avant. Dans l’étude sur les biais racistes du marché du travail américain (qui date de 2004), le professeur avait dû envoyer des centaines de CV ou ne changeaient que les noms des candidats, alors que désormais, la discrimination se repère dans les données et les statistiques, à l’image d’une récente étude sur les biais racistes du système de santé américain, il a suffi de repérer la différence de traitement pour des soins de diabète et d’hypertension entre patients noirs et blancs. À niveau de maladie similaire, les patients noirs étaient considérés comme moins à risque que les patients blancs et les dépenses de santé étaient également moindres pour les patients noirs que blancs.
« Pour mesurer la discrimination raciale par les gens, nous devons créer des circonstances contrôlées dans le monde réel où seule la race diffère. Pour un algorithme, nous pouvons créer des circonstances également contrôlées simplement en lui fournissant les bonnes données et en observant son comportement ». L’étude de 2004 sur les CV n’a pas permis de construire de réponses adaptées, tant il est difficile d’agir sur les préjugés des gens. À l’inverse, sur le biais de soin, il était possible de cartographier les différences de traitement selon la race. Il a donc été possible de proposer un correctif à ce système. « Il est plus facile de changer les algorithmes que de changer les gens », conclut l’économiste. Pour Sendhil Mullainathan, la discrimination algorithmique peut-être plus facilement découverte et plus facilement corrigée… avance-t-il en citant un récent article de recherche qui tente de développer un outil pour détecter la discrimination raciale à l’embauche qui permettrait d’identifier les employeurs discriminants, de surveiller l’évolution de ces discriminations, voire pour les autorités d’intervenir. Pour lui, les biais peuvent être corrigés, comme il le soutenait déjà dans un article de 2018 coécrit notamment avec le juriste Cass Sunstein : avec une « régulation appropriée », les algorithmes peuvent aider à réduire les discriminations… expliquaient-ils en regrettant que le principal écueil pour l’instant soit justement la régulation. Pour Mullainathan, il est essentiel que des experts puissent avoir accès aux données de tests et aux données utilisées, qu’un organisme d’expertise et de réglementation dédié soit créé… Pourtant, conclut-il avec prudence, si de meilleurs algorithmes pourraient permettre d’assurer un traitement équitable dans notre société, le chercheur concède qu’ils « ne résoudront pas le profond biais structurel qui continue de sévir aux États-Unis. Il n’est pas plus facile de corriger les préjugés de la société que les préjugés des gens. (…) Par contre, il est beaucoup plus facile de réparer un appareil photo qui n’enregistre pas la peau foncée que de réparer un photographe qui ne voit pas les personnes à la peau foncée. »
Devons-nous mettre au point ces technologies, à forte intensité de données, dont l’efficacité est sujette à caution, alors que l’investissement et le développement dans ces technos se font au détriment d’autres solutions ?
Il suffirait donc d’identifier les biais et d’éliminer leurs impacts en réduisant la variable problématique de leurs modèles. La démonstration pourrait sembler convaincante. Pourtant, Chelsea Barabas, elle, n’est pas convaincue. Cet argument – que plus de technique permet de corriger les biais – risque pourtant de persister tant que nous ne reconnaîtrons pas que les innovations algorithmiques sont inextricablement liées aux relations de pouvoir et d’exploitation, concède-t-elle. Pour nettoyer les algorithmes de leurs biais, l’une des méthodes les plus utilisées par les chercheurs consiste à développer leur équité, en renforçant la diversité et l’inclusion : le principe est simple, si nous pouvons inclure plus de personnes dans les données que nous utilisons pour construire nos systèmes algorithmiques, alors ces algorithmes pourront servir un ensemble de personnes plus diversifiées à l’avenir. L’autre méthode consiste à faire disparaître les données ou catégories qui posent problème : c’est ce qu’avait fait Apple avec sa carte de crédit lancée en août dernier, jusqu’à ce que des utilisateurs se rendent compte que celle-ci proposait systématiquement moins de crédit aux femmes qu’aux hommes. Au final, avoir fait disparaître les variables visibles de genre a rendu la détection du biais bien plus difficile… rapportait Wired.
La recherche médicale a historiquement exclu les femmes et les personnes de couleur de ses essais cliniques et les professionnels de santé font preuve d’un certain nombre de préjugés raciaux et sexistes troublants lorsqu’ils administrent des traitements, rappelle la chercheuse. En améliorant les données, les algorithmes pourraient nous offrir la possibilité de corriger ces préjugés afin de rendre les soins médicaux plus inclusifs, à l’image de ce que propose Sendhil Mullainathan.
Mais pour Chelsea Barabas, un nombre croissant de personnes commencent à repousser l’idée que la diversité et l’inclusion soient les principales valeurs à défendre dans la recherche d’une « IA éthique ». Lors d’un récent atelier à Harvard organisé par le Digital Justice Lab intitulé « Please Don’t Include Us » (« Merci de ne pas nous inclure »), des chercheurs ont fait valoir que, pour de nombreuses personnes, l’inclusion dans les systèmes algorithmiques entraîne un danger : celui de voir se développer des systèmes conçus pour surveiller, criminaliser et contrôler ces individus. Nous sommes là pleinement dans la seconde vague de la contestation algorithmique qu’évoquait récemment le chercheur Frank Pasquale. La quête d’une IA éthique, plus inclusive, ne risque-t-elle pas au final de renforcer le contrôle des plus démunis ?
Pour Chelsea Barabas, « la façon qu’a une population de consommer une technologie repose souvent sur la façon dont une autre population est incarcérée par cette même technologie ». La reconnaissance faciale en est un excellent exemple, explique-t-elle. « Pour beaucoup de gens, la reconnaissance faciale est perçue principalement comme un bien de consommation, une commodité [NDE cf. notre propos à cet égard], qui permet à certains d’entre nous d’ouvrir plus facilement leur iPhone sans utiliser leurs mains. Pour d’autres, le logiciel de reconnaissance faciale est surtout perçu comme un prolongement de l’application de la loi, utilisé pour établir le profil des personnes et les criminaliser dans leur vie quotidienne ». Comme le soutient l’activiste Nabil Hassein (@nabilhassein) sur le blog décolonial et anticolonial Digital Talking Drum, dans un billet qui s’oppose à l’amélioration de la reconnaissance faciale pour les personnes de couleur : « à l’avenir, les personnes qui contrôlent et déploient la reconnaissance faciale à toute échelle conséquente deviendront assurément nos oppresseurs. Pourquoi voudrions-nous alors que nos visages deviennent lisibles pour des traitements automatisés ? »
L’inclusion dans les systèmes algorithmiques des populations les plus démunies repose souvent sur des relations coercitives d’extraction de données, comme le pointait très bien la chercheuse Virginia Eubanks, où ce récent et édifiant exemple de Google offrant des cartes cadeaux de 5$ à des sans-abris de couleurs d’Atlanta pour collecter leur visage en 3D. Les recherches médicales par exemple ont souvent et longtemps exploité les populations les plus vulnérables, rappelle Chelsea Barabas. Ce phénomène continue aujourd’hui avec les outils de machine learning les plus à la pointe de la recherche, par exemple, via l’étude des biomarqueurs vocaux qui consiste à étudier les caractéristiques de la voix pour détecter des maladies physiques ou mentales (voir une synthèse du sujet, très enthousiaste, sur Medical Futurist). Mais la promesse de l’étude des biomarqueurs vocaux est aussi convoquée pour filtrer les terroristes potentiels à la frontière américaine, comme le soulignait The Intercept dans un article évoquant la science de pacotille que représente l’évaluation des risques vocaux (voir également notre article critique sur l’absence de fiabilité des technologies d’analyse émotionnelle). Or, cette promesse technologique, malgré ses failles intrinsèques, demeure utilisée par des fonctionnaires du gouvernement américain et les entreprises qui déploient ces technos, comme un moyen de minimiser la partialité des décisions humaines. Pour eux, cette techno vise à rendre la décision sur les demandes d’asile à la frontière plus « équitables ». Pour Chelsea Barabas, cet exemple, parmi d’autres, pose la question des priorités que nous avons à décider en tant que société. Devons-nous mettre au point ces technologies, à forte intensité de données, dont l’efficacité est sujette à caution, alors que l’investissement et le développement dans ces technos se font au détriment d’autres solutions ? Pour Barabas, le risque en promouvant des systèmes éthiques est que les innovations technologiques profitent des inégalités et exacerbent les profondes injustices qui caractérisent nos sociétés. « En tant que constructeurs de systèmes algorithmiques, nous devons résister activement aux pires applications de nos travaux et comprendre que plus nous nourrirons nos systèmes de données, plus cela va permettre de renforcer l’exploitation et la criminalisation systématique des communautés les plus vulnérables ». « Nous devons construire des structures de responsabilité autour des algorithmes que nous produisons, afin de nous assurer que les personnes qui servent souvent de base aux innovations algorithmiques en bénéficient également. Nous devons dépasser le stade de la « partialité » et des biais, si nous voulons que nos innovations aient un impact positif sur le monde », conclut-elle. Autrement dit, pas de contrôle sans garantie, pas de surveillance sans contrepartie… ou alors, pas de surveillance du tout ! Quelque part, ce que Chelsea Barabas dénonce c’est le prisme du contrôle et de la surveillance qui envahit tous nos outils, plutôt que de proposer des modalités d’autonomisation ou de libéralisation. Les cadres éthiques qui posent la diversité et l’inclusion comme une solution à la partialité sont fondamentalement limités, car ils négligent des questions importantes concernant les avantages et les inconvénients des innovations qui sous-tendent les nouvelles technologies. Pour elle, nous devons d’abord questionner les conditions sociales de l’innovation. Non pas nier ou refuser les biais, mais au contraire, les rendre plus visibles et lisibles, car ils sont toujours là. Comme disait Cathy O’Neil, les algorithmes restent des opinions formalisées dans du code.
En juillet 2019, Chelsea Barabas avait signé avec ses collègues Karthik Dinakar et le juriste de l’école de droit d’Harvard Colin Doyle une intéressante tribune dans le New York Times qui pointait le problème spécifique des outils d’évaluation des risques criminels (et qui avait donné lieu à une condamnation de ces techniques par une trentaine des meilleurs spécialistes du domaine). Or, rappellent les chercheurs, ces outils offrent aux juges des recommandations qui font croire que la violence future semble plus prévisible et plus certaine qu’elle ne l’est en réalité. Ce faisant, les évaluations du risque perpétuent idées fausses et craintes qui sont déjà à l’origine, aux Etats-Unis, d’une incarcération massive avant procès. Cognitivement, les juges, par crainte de libérer des individus potentiellement dangereux, surestiment le risque pour refuser la libération avant procès. Pourtant, « même dans les villes où le taux de criminalité et le taux de mise en liberté provisoire sont élevés, il est rare qu’une personne commette des actes de violence en attendant son procès ». Pour limiter cette surincarcération, les juridictions ont de plus en plus recours à des outils d’évaluation des risques criminels. En utilisant de grandes quantités de données sur les antécédents criminels, les algorithmes d’évaluation du risque tentent de calculer le risque de violence future d’une personne en se fondant sur les tendances de la fréquence à laquelle des personnes ayant des caractéristiques similaires ont été arrêtées pour un crime violent dans le passé. Les différents algorithmes s’appuient sur des caractéristiques personnelles différentes, comme les condamnations antérieures, la durée de l’emploi actuel ou même le code postal. Certains tiennent même compte du fait qu’une personne possède ou loue une maison ou un téléphone mobile.
Pour leurs promoteurs, les évaluations algorithmiques du risque sont présentées comme étant plus objectives et plus précises que les juges pour prédire la violence future et reposent sur l’espoir qu’elles puissent corriger l’intuition humaine trop souvent défectueuse des juges. Le problème est que les étiquettes d’évaluation des risques qui s’affichent sur les dossiers masquent surtout la profonde incertitude des prédictions, notamment parce qu’à nouveau, la violence avant un procès est rare, il est statistiquement impossible d’identifier des personnes plus susceptibles que d’autres de commettre un crime. 92 % des personnes que l’algorithme signale comme pouvant commettre un acte violent avant procès ne sont pas arrêtées. En fait, ces outils sacrifient l’exactitude au profit de distinctions douteuses entre des personnes qui ont « toutes une probabilité faible, indéterminée ou incalculable » de commettre un crime avec violence. Ces évaluations algorithmiques du risque étiquettent les personnes comme étant à risque sans donner aux juges une idée de la probabilité ou de l’incertitude sous-jacente de cette prédiction. Par conséquent, ils participent à surestimer le risque de violence et l’incarcération provisoire… c’est-à-dire à renforcer le biais des juges. Le développement de prédictions risque surtout de cimenter les craintes irrationnelles et la logique de l’incarcération massive derrière un vernis d’objectivité pseudo-scientifique. Ni les juges ni les logiciels ne peuvent prédire qui commettra ou non de crimes violents.
Certaines technologies sont certainement incompatibles avec la démocratie
Dans une tribune pour la Boston Review, les philosophes Annette Zimmermann, Elena Di Rosa et Hochan Kim, s’énervaient également du risque de neutralisation des biais… cette promesse, comme le souligne Irénée Régnault de Mais où va le web ? qui a consacré un article détaillé à cette tribune, d’autorégulation des algorithmes. Mais la neutralité ne signifie pas la justice. Pour les philosophes, la quête d’algorithmes plus justes « ne réside peut-être pas dans leur amélioration, mais dans le fait de décider de ne pas les déployer ».
Pour les trois philosophes, rendre les algorithmes plus justes n’est pas suffisant, il faut entendre que certaines technologies sont certainement incompatibles avec la démocratie. Pour eux également, « il convient donc d’aller plus loin et d’interroger les liens entre les systèmes d’intelligence artificielle et les configurations sociales et politiques existantes », se demander en quoi un système exploite et développe des inégalités. Pour contester les dimensions sociales, morales et politiques de la décision algorithmique, nous avons besoin de processus publics et démocratiques adaptés à ces enjeux par des autorités de contrôle indépendantes, des processus de délibération citoyens, des associations et des journalistes qui fassent un travail d’enquête et de révélation des problèmes… Comme le dit Irénée Régnauld, pour mieux réguler les technos, il nous faut certainement plus de démocratie… Reste que plus de démocratie ne signifie pas nécessairement que les excès des systèmes puissent être contrés (« on peut tout à fait prendre de « mauvaises décisions » démocratiquement »). Autant dire que, pour saisir les enjeux de ces systèmes, nous avons certainement besoin d’une démocratie et de débats bien plus vivants qu’ils ne sont.
Hubert Guillaud