Durant la décennie qui vient de se passer, la question de la responsabilité algorithmique est devenue une préoccupation importante pour les spécialistes des sciences sociales, les informaticiens, les journalistes comme les juristes. Les chercheurs et militants n’ont cessé de nous montrer les biais algorithmiques et les manipulations que les outils de décision automatisée permettaient. Les régulateurs ont commencé à réagir et à prôner la loyauté, la transparence, l’équité, la non-discrimination… Ce lent et long travail d’élaboration des politiques pour s’assurer de la responsabilité des systèmes techniques ne fait que commencer, assure le professeur de droit américain Frank Pasquale (@frankpasquale) dans un billet de blog. Les enjeux de transparence et d’audit des algorithmes s’engagent à petits pas. Cette responsabilisation sera longue à se mettre en place, à trouver ses modalités, mais elle avance, assure le juriste.
Cette première vague de recherche et d’activisme sur la question de la responsabilité algorithmique a principalement ciblé des systèmes existants, afin de leur fait rendre des comptes, de s’assurer de leur équité, de leur loyauté. Ces actions vitales ne vont pas s’arrêter demain, d’autant qu’« il faut une vigilance constante à l’égard de l’IA », afin de surveiller constamment les effets des traitements. Pourtant, une deuxième vague s’annonce, prédit le juriste, à la suite des chercheuses Julia Powles (@juliapowles) et Helen Nissenbaum (@hnissenbaum), qui signaient, il y a un an, un article pour s’inquiéter que la question de la réduction des biais de l’IA nous détournait de répondre à des questions bien plus épineuses autour de la technologie.
Pour les chercheuses, se focaliser sur la résolution technique des biais des systèmes techniques les considère uniquement comme des problèmes de pur calcul, et masque les causes profondes de ces biais. Or, la partialité n’est pas tant un problème technique, statistique, que social. Elles rappellent également qu’un succès dans la lutte statistique contre les préjugés peut avoir des contre-effets terribles. Ainsi, améliorer la reconnaissance faciale qui peine à reconnaître les femmes de couleur du fait de leur sous-représentation dans les données d’entraînement, risque surtout de faire peser plus fort encore la surveillance dont elles sont déjà victimes, exposant les minorités à des préjudices supplémentaires. Mais pour Nissenbaum et Powles, ces questions autour de l’amélioration de l’IA masquent surtout la question de son utilité et de son inévitabilité. Le fait de reconnaître les biais de ces technologies n’est-il pas une concession stratégique qui renforce l’inéluctable, à savoir le fait que l’IA doive s’imposer partout ?
Résoudre les biais « nous détourne d’une question bien plus importante, à savoir l’asymétrie colossale entre le coût social et le gain privé du déploiement de ces systèmes automatisés. Elle nous refuse aussi la possibilité de nous demander : devrions-nous construire ces systèmes ? L’objectif final semble toujours de « réparer » les systèmes, mais jamais d’utiliser un autre système ou de ne pas utiliser de système du tout ! En acceptant les récits existants sur l’IA, de vastes zones de contestation sont abandonnées. Au final, ce qui est promu, c’est la résignation, c’est la normalisation de la collecte massive de données au profit d’entreprises pour produire des applications et des solutions prédictives à tous les problèmes sociaux. »
Pour les chercheuses, la nature même du débat est compromise. Or nous devrions poser plus fort la question de savoir qui contrôle les données accaparées par les big tech. Les autorités devraient décourager cette accumulation de données, notamment par des interdictions. Pour les deux chercheuses, en tant que société, nous devrions répondre aux questions suivantes : « Quels systèmes méritent vraiment d’être construits ? Quels sont les problèmes les plus importants à résoudre ? Qui est le mieux placé pour les construire ? Qui décide ? Tout système d’IA intégré dans la vie des gens doit être capable d’être contesté, de rendre des comptes et de proposer des réparations aux citoyens et aux représentants de l’intérêt public. »
Et de conclure : l’IA évoque une toute-puissance mythique et objective quand elle est avant tout soutenue par des entreprises et des intérêts principalement financiers qui ne sont pas ceux de chacun d’entre nous !
Alors que la première vague de responsabilisation algorithmique s’est concentrée sur l’amélioration des systèmes existants, une deuxième vague, elle, demande s’ils doivent être utilisés et comment les gouverner, explique Pasquale. Ainsi, en matière de reconnaissance faciale, les chercheurs ont démontré que les systèmes étaient incapables d’identifier les visages des minorités. Les chercheurs de la seconde vague, eux, soulignent surtout que ces systèmes sont souvent utilisés pour opprimer ces populations. Pour eux, la question tient plutôt de savoir s’il ne faudrait pas plutôt interdire ces systèmes, ou s’assurer qu’ils ne soient autorisés que pour des utilisations socialement productives… Pour Pasquale, les critiques de cette seconde vague posent des questions sur la légitimité de ces technologies et s’appuient bien sûr sur la démonstration de leurs effets sociaux, notamment en terme d’emploi et de déclassements (et ce alors que les questions relatives au travail sont déjà un élément essentiel de la réglementation des plateformes). Enfin, elles vont aussi porter sur d’autres questions de réglementation des marchés. Pour l’instant par exemple, les technologies financières sont souvent saluées comme un moyen d’inclure plus d’individus dans le système financier, mais l’automatisation pourrait bien produire l’exact inverse, à l’image d’applications indiennes qui réduisent les scores d’accès au crédit des individus engagés dans des activités politiques ou des applications de prêts Kenyannes qui favorisent le surendettement. Pour Pasquale, la finance pilotée par l’IA risque d’être bien plus inégalitaire que celle que nous connaissions jusqu’alors.
Reste à savoir si la vague de contestation de l’IA sera complémentaire de celle qui a sensibilisé le public à ses préjugés et ses limites. Elle devrait permettre de ralentir son déploiement. Reste qu’il n’est pas sûr que ces deux courants ne s’opposent pas plus à l’avenir : ceux qui veulent réparer l’IA n’ont pas nécessairement les mêmes objectifs que ceux qui veulent mettre fin ou limiter l’évaluation informatique des individus. Pour l’instant, les deux vagues semblent avoir encore un objectif commun : rendre les systèmes sociotechniques plus réceptifs aux communautés marginalisées. Mais indéniablement pas de la même manière !
MAJ : Irénée Régnauld pour Mais où va le web traitait également ce sujet qu’il conclut d’une belle formule : « On ne « réparera » jamais l’IA de ses biais. Car rien n’est neutre, et surtout pas la neutralité. »