La revue de recherche Big Data & Society (@bigdatasoc, blog) publie un numéro spécial sur la « société de la boite noire », revisitant l’ouvrage du professeur de droit américain Frank Pasquale (@frankpasquale), Black Box Society (FYP, 2015), 5 ans après sa publication, pour repenser l’économie politique des Big Data (voir notamment notre article, Peut-on améliorer les critères des crédits ?). Salué comme l’un des premiers livres scientifiques sur les enjeux de la prise de décision algorithmique, l’ouvrage de Frank Pasquale montrait très bien combien la décision automatisée était enfermée derrière une opacité construite pour se dérober à ses obligations et responsabilités.

Reste à savoir, comme l’expliquent les éditeurs en introduction du volume, si, malgré les innombrables exemples d’injustices algorithmiques accumulés depuis, la question de l’amélioration de la transparence des systèmes, auquel invitait le chercheur, est un remède au problème. La transparence est-elle un premier pas vers un déploiement plus émancipateur des systèmes ou aggrave-t-elle les choses – non pas tant du fait qu’elle soit bien souvent finalement reléguée ou ignorée, mais du fait que quand elle parvient à sourdre, elle tend plutôt à justifier et rationaliser l’ordonnancement algorithmique des affaires humaines ?

Pour Frank Pasquale lui-même, loin d’être limités, les données et traitements « opaques, invérifiables et incontestables » se sont considérablement étendus depuis 2015 (l’association européenne Algorithm Watch dressait récemment le même constat, tout comme l’honorable Financial Times) et avec eux, s’est étendu l’occultation de réalités sociales complexes, non sans conséquence pour les libertés publiques ou la santé publique. Pour le professeur de droit, dans les débats sur les traitements, nous occultons le contrôle social, politique et économique qu’exercent les systèmes et comment ils faussent les décisions, alors même que nous sommes saturés de récits technosolutionnistes. Le RGPD européen ou le droit à l’explication des traitements a certes ouvert le débat. Mais entre-temps, les traitements ont largement envahi tous les champs de la décision, de la médecine à l’éducation, en passant par les rencontres, l’application de la loi et les décisions commerciales.

Dans le recueil d’articles de Big Data & Society, Ifeoma Ajunwa (@iajunwa) analyse le déploiement des boites noires au travail, qui exigent que les travailleurs consentent à l’exploitation de leurs données, sans recevoir en contrepartie d’informations sur la façon dont elles sont utilisées. Pour la chercheuse, le risque est que les employés connaissent une « apophonie », une altération de leur voix, c’est-à-dire une altération de leur rôle depuis des performances mesurées d’une manière suspecte qui conduisent à des évaluations trompeuses. Nous voici, explique Mark Andrejevic (@markandrejevic, blog) dans un monde fait d’informations « exploitables, mais non partageables ». Comment peut-on alors agir sur les données si on ne peut les expliquer ? L’enjeu semble bien sûr, là encore, de renforcer la transparence des données et traitements, mais plus encore explique-t-il, améliorer la transparence des projets. Pour Margaret Hu, le rôle et l’influence politique de la publicité ciblée, malgré le scandale Cambridge Analytica, demeure mal compris. Pour améliorer la réponse politique, il est nécessaire de mettre en place une autorité de surveillance dédiée, explique la chercheuse. Paul Prinsloo (@14prinsp, blog) s’intéresse lui aux rôles des algorithmes dans l’enseignement supérieur et souligne leur impact mortifère. Pour Benedetta Brevini (@grnsurveillance, blog), la prise en compte des coûts environnementaux de l’IA tient pour l’instant d’un impensé, alors que ces technologies se déploient partout. Dans un monde où la surveillance automatisée s’intensifie, Gavin Smith (@gavin_jd_smith) propose de promouvoir un « droit au visage » au risque que la surveillance s’étende aux activités les plus banales. Pour Nicole Dewandre (@NicoleDewandre), la transparence tient désormais plus d’un fardeau pour les personnes surveillées que pour les entreprises ou autorités. Pour l’instant, la question de la transparence est plus l’affaire de ceux qui sont victimes des systèmes que de ceux qui opèrent ce travail de surveillance, notamment parce que c’est à eux de montrer qu’ils ont été indûment surveillés ou calculés, comme le souligne désormais le travail d’avocats à traquer les powerty lawgorithms, les décisions automatisées qui s’abattent en cascade sur les plus vulnérables. Jonathan Obar (@CDNJobar) prolonge ce constat en montrant qu’il faut trouver des solutions pour partager plus équitablement le fardeau de la transparence et de l’explicabilité. Or, souligne-t-il, les utilisateurs ne souhaitent pas s’engager dans la transparence : pour cela, il est nécessaire de construire des organisations intermédiaires entre ceux qui développent des systèmes et les utilisateurs finaux, en appelant à développer un nouveau cadre pour la gouvernance des données. Kamel Ajji (@Kamel_21M) a fondé la 21 Mirrors Initiative, une organisation pour analyser et évaluer pour d’autres acteurs les conséquences des outils et services que nous utilisons sur la liberté d’expression, la vie privée et la transparence. En regardant comment la financiarisation des données et la datafication de la finance a eu tendance à renforcer les hiérarchies de pouvoir existantes plutôt que les remettre en cause, Ajji souligne qu’il est nécessaire de construire des modalités d’émancipations. Enfin, pour la journaliste et activiste Benedetta Brevini (@grnsurveillance), les boites noires ne sont désespérément pas vertes : alors que l’IA est censé nous aider à résoudre les plus grands défis mondiaux, des maladies chroniques au changement climatique, le discours public sur l’IA évite systématiquement de prendre en compte les coûts environnementaux de l’IA. Et Brevini de défendre un calcul de l’empreinte carbone des technologies.

Pour Pasquale, le lien entre ces différentes contributions consiste à souligner combien l’imbrication entre l’État et les industries érodent nos capacités d’action. Selon lui, nous devons repenser les relations entre l’expérience privée et l’objectif commun, chercher des alternatives viables à la seule commercialisation et au capitalisme de surveillance que cette commercialisation des données met en place.

Pasquale vient d’ailleurs de faire paraître un nouveau livre, bien moins sombre que son précédent : Les nouvelles lois de la robotique (Harvard University Press, 2020, non traduit), où il défend l’expertise humaine à l’âge de l’IA. Dans une interview pour Pando, le juriste estime que nous devons imaginer une autre façon de déployer la technologie. Pour cela, il défend de nouvelles lois sur la robotique, proche des 3 lois de la robotique d’Asimov. Pour Pasquale, nous devons tout d’abord faire que l’automatisation complète les humains plus qu’elle ne les remplace : c’est-à-dire, faire que les jugements et les choix restent humains. Ensuite, l’IA comme les robots ne devraient jamais singer ou contrefaire les humains. Ces systèmes ne devraient pas non plus être utilisés pour accélérer la course technologique… – même si on voit mal comment stopper la domination technologique alors qu’elle est le principal vecteur des gains de productivité d’aujourd’hui, pourrait-on lui opposer. Enfin les systèmes doivent toujours indiquer l’identité de leurs créateurs, contrôleurs et propriétaires, c’est-à-dire identifier la chaîne de responsabilités.

« Nous devons réfléchir très sérieusement à l’orientation de l’innovation, et l’innovation elle-même ne peut pas être un simple mot d’ordre pour bloquer la réglementation », déclare-t-il. Ainsi, les résultats d’une prédiction automatisée ne devraient jamais être annoncés par un automate, mais toujours par un humain. La technologie ne doit pas être utilisée pour produire des simulacres et nous faire croire qu’elle est humaine. Les programmeurs ne peuvent agir comme des faussaires, « falsifiant l’existence humaine pour améliorer le statut des machines », explique-t-il encore. Pour Pasquale, contrairement à Asimov, l’idée qu’on ne puisse pas distinguer les hommes des robots est un mauvais point de départ. Nous sommes face à des choses qui fonctionnent comme des machines et qui ne doivent donc pas ressembler à des humains. Au contraire, nous devons exercer un contrôle humain et démocratique sur les systèmes. New Laws of Robotics n’est visiblement pas un livre contre la technologie, au contraire. L’IA ouvre de grandes opportunités, soutient Pasquale, mais nous avons à mieux baliser la différence entre la nature et la portée du travail humain et celle du développement technologique.

Reste que si les principes sont vertueux, pas sûr qu’ils aient beaucoup d’impacts concrets pour limiter la progression de la société des boîtes noires !

Hubert Guillaud