Quels sont les enjeux de l’ouverture des données de justice qui s’annoncent ? Retour en détail sur un colloque de l’Institut national des hautes études de la sécurité et de la justice, pour prendre le temps d’en comprendre les enjeux. 2e partie.

Angèle Christin (@angelechristin), sociologue et ethnographe, spécialiste de la justice pénale, est maître de conférence à Stanford. Elle s’intéresse aux algorithmes qui estiment la probabilité de récidive dans la justice pénale américaine. Des techniques qui ont été très critiqués notamment du fait des biais de ces programmes en matière de discrimination, du problème de l’absence d’information et de recours des justiciables et surtout de leurs limites à calculer effectivement ce qu’ils promettent.

Les limites de la prédiction

En fait, rappelle la chercheuse, la question de la prédiction du risque aux États-Unis est ancienne et peut remonter aux travaux en criminologie des années 30 et 70. Mais, si les bases de données sur lesquels s’appuient les outils d’évaluation du risque sont plus massives, les modèles sur lesquels ils s’appuient, eux, sont restés les mêmes. On est encore beaucoup sur des outils de régression statistique, consistant à analyser la relation entre variables. Les outils produisent des scores de risques sur un nombre toujours plus grand d’instruments. Plus de 60 sont utilisés dans les institutions américaines, à différents endroits de la chaîne pénale, que ce soit pour prévenir la délinquance sexuelle, la probation, le risque de délinquance des mineurs…

Et la chercheuse de nous montrer les ternes interfaces de ces programmes qui ressemblent plus à des programmes de Windows 93 qu’à des applications pour smartphones, comme l’outil d’évaluation du risque de comparution de l’État de Virginie, qui est un outil pour évaluer si la personne va se présenter au tribunal au moment de sa mise en détention provisoire. Ce programme informatique est utilisé par les procureurs et travailleurs sociaux au-delà du seul État de Virginie. Il tente d’évaluer différents facteurs de risques, comme de savoir si la personne consomme de la drogue, si elle a charge d’enfants ou de parents, un emploi, une résidence vérifiée, des comportements violents, un historique criminel ou s’il a déjà fait défaut en terme de comparution. Une fois les renseignements renseignés, le logiciel calcul un risque de 1 à 10. Elle montre également l’interface de Compas, l’outil de calcul de la récidive qu’avait évalué l’enquête de Propublica qui se base sur un questionnaire auquel doit répondre le prévenu et qui est utilisé dans de nombreuses juridictions américaines. Comme l’avait souligné Propublica, beaucoup de questions (le questionnaire en comporte 110) posent problème, notamment dans l’évaluation de la sociabilité des délinquants, leur mode de vie et leurs attitudes. Le logiciel donne un résultat augmenté d’un code couleur qui prédit le risque de récidive violent. Celui-ci est imprimé et ajouté au dossier et les magistrats le consultent pour prendre sa décision. Il se présente donc bien comme un outil d’aide à la décision plus qu’un outil de justice automatisé, prévient la chercheuse.

Il y a 4 grandes familles de critiques autour de ces nombreux outils, explique Angèle Christin. La première c’est leur opacité. Celle-ci est à plusieurs niveaux : le code des logiciels ou leurs bases de données ne sont jamais rendus publics. Au sein même des tribunaux, les prévenus n’ont souvent pas accès au résultat calculé par ces programmes. Enfin, aucun mécanisme de contestation ou de recours n’a été mis en place.

La seconde critique souligne le biais de discrimination de ces outils. Certaines variables au sein de ces modèles, comme quelque chose d’aussi simple que les codes postaux ou l’emploi, sont corrélées de manière significative avec l’appartenance ethnique. Tant et si bien que plusieurs de ces outils aujourd’hui sont entachés d’un soupçon d’inconstitutionnalité et enlever le code postal ou l’emploi ne suffira pas à ôter leur biais, notamment parce que l’historique des données et des systèmes judiciaires sont imprégnés de discriminations. La justice américaine incarcère les noirs et les pauvres plus massivement que les autres.

La troisième famille de critique repose sur l’inégalité sociale intrinsèque de nos systèmes. Les algorithmes prédictifs se concentrent presque exclusivement sur la justice pénale de masse, comme la comparution immédiate de masse. Les algorithmes pénaux s’intéressent uniquement aux pauvres, aucun ne s’intéresse à la délinquance financière ou à la délinquance fiscale par exemple, comme s’en était moqué le designer Sam Lavigne en lançant un système de police prédictive des zones de délinquance en col blanc. Ils entérinent une justice à deux vitesses : une pour les classes supérieures gérées par les humains, une automatisée pour les plus pauvres.

Image : L’île de Manhattan, zone chaude de la délinquance financière, moquée par Sam Lavigne.

Enfin, la dernière famille de critique repose sur l’optimisation intrinsèque à ces systèmes, leur caractère performatif qui génère leur propre autoréalisation. L’algorithme crée ce qu’il cherche à décrire : en cherchant des récidivistes potentiels, il en crée.

Reste que pour Angèle Christin, il est essentiel d’étudier les usages concrets de ces outils pour comprendre où et comment ils s’insèrent dans le système pénal, comme elle l’a fait en étudiant les comparutions immédiates dans la justice française, montrant que beaucoup de décisions de justice sont finalement prises sans prendre de temps et avec peu d’information. Peut-être qu’en apportant un peu plus d’information, ces outils peuvent avoir un intérêt.

La chercheuse est en train de réaliser une étude ethnographique dans trois tribunaux américains, pour regarder concrètement comment ces outils sont utilisés. Les résultats préliminaires montrent l’énorme manque de confiance des professionnels envers ces outils. Juges et procureurs ont l’impression que ces outils regardent les mêmes variables qu’eux. Ils se montrent le plus souvent défiants vis-à-vis des boîtes noires que constituent ces outils. Dans la réalité, ils sont peu utilisés, peu mentionnés, hormis comme des instruments de justification pour négocier une peine avec des avocats. La chercheuse pointe également le souci de manipulation qu’induisent ces instruments. Ce sont les travailleurs sociaux plus que les magistrats qui informent ces outils. Ces personnels connaissent très bien les critères qui pèsent dans le calcul algorithmique pour en jouer. Enfin, force est de reconnaître qu’il y a en fait un vaste écart entre l’idéal projeté dans ces outils – qui amélioreraient l’efficacité et la rapidité – et la réalité.

Pour la chercheuse, l’utilisation concrète de ces outils dans la pratique pénale se révèle plus complexe qu’on le pense. Ce qui est sûr, c’est que ces outils ne sont ni neutres, ni impartiaux, ni objectifs, ni efficaces. Ils portent en eux une nature d’ordre politique et posent la question du modèle de justice qu’on souhaite pour le futur.

Image : Angèle Christin et David Forest, sur la scène de l’amphithéâtre de l’Ecole militaire lors du séminaire de l’INHESJ.

La régulation algorithmique est-elle une question périphérique au droit ?

L’avocat David Forest (@df_forest) fait un pas de côté. Et comme tout pas de côté, c’est forcément intéressant. < em>« Les initiatives de régulation algorithmiques se trouvent aujourd’hui en périphérie du droit », attaque-t-il, en prenant comme exemple la question du droit à l’oubli, que la Cour de justice européenne a imposé à Google en 2014. Google a longtemps refusé d’appliquer cette législation parce que la firme a toujours considéré qu’elle ne lui était pas applicable. Beaucoup ont pourtant crié victoire suite à cette décision. À l’époque, Google avait lancé un comité d’éthique consultatif pour auditionner et comprendre les critères de désindexation qui lui étaient adressés. La firme américaine avait organisé de grandes réunions… Mais qu’en est-il vraiment resté ? Pour David Forest, cette victoire a été une illusion. « On a pensé qu’on pouvait effacer le passé. Mais le business model de Google, c’est d’abord la prévision du futur. » Si Google a bien mis en place un formulaire pour que les utilisateurs puissent demander la suppression d’un contenu, « la firme s’est-elle pour autant soumise à notre législation ? », interroge l’avocat. C’est oublier combien Google se considère et agit comme une entité transnationale souveraine. Or, le souverain, comme l’ont souligné Jean Bodin ou Carl Schmitt, c’est celui qui s’estime tenu par aucune loi. Pour David Forest, Google a pris une décision stratégique, commerciale et économique de mettre en oeuvre un processus de désindexation dont il maîtrise les paramètres. D’une certaine manière, il contourne la norme juridique à l’aide de processus fonctionnels, via un formulaire parfaitement procédural. Dans ses règles de confidentialité, Google ne fait référence à aucune loi ou directive qui s’imposerait à lui.

Pour David Forest, nous sommes en fait dans une forme de normativité processuelle hors la loi des juges. Un softpower pour reprendre le concept forgé par Joseph Nye, où l’enjeu est plus d’imposer des normes que de répondre à des lois. Thomas Berns et Antoinette Rouvroy ont parlé de gouvernementalité algorithmique pour décrire ce softpower (voir par exemple l’un de nos articles). La gouvernementalité fait référence à Foucault et désigne un gouvernement des conduites qui permet de contrôler et surveiller les populations. Et c’est bien ce que font les algorithmes : profiler les populations, reconfigurer leur environnement. Les LegalTechs participent également de cette gouvernementalité en anticipant les comportements des justiciables et des magistrats. Alain Supiot, lui, a parlé de « gouvernance par les nombres«  pour qualifier le renversement du règne de la loi. La gouvernance, elle, renvoie au bon gouvernement gestionnaire. La loi sur la sécurité financière a introduit la notion de gouvernement d’entreprise consistant à accorder une place au processus par le renfort du contrôle interne. Il y a même une norme ISO qui définit la gouvernance comme une série de processus. La gouvernance définit des normes dans le registre de l’autorégulation. Sur Amazon, quand vous êtes confronté à une usurpation d’identité ou un détournement de données bancaires, une série de processus s’enclenchent pour remédier à la désorganisation du système.

Cette gouvernance renvoie à la matrice cybernétique du mathématicien Norbert Wiener, qui repose sur l’information, le rétrocontrôle, la régulation et l’auto-organisation. Elle conduit à l’inversion des fins et des moyens. La gouvernance va de pair avec le rejet du droit. La boucle de rétroaction et la gouvernance sont la clef de la mise en relation entre les individus et les machines. La régulation est un dialogue de sourds avec le droit, un jeu de cache-cache permanent. Pour Wiener, la loi est un contrôle moral appliqué aux modes de communication. Elle doit être prévisible et certaine, comme le sont les processus de gouvernance qui les remplacent. D’une certaine manière, les producteurs des formes de gouvernance rejettent l’incertitude de la justice qui serait un facteur d’opacité. En ce sens, la justice prédictive est une forme de lutte contre le désordre anthropique. Tout dépend alors de la contractualisation généralisée entre les individus et les systèmes : ces CGU, ces contrats d’adhésion que nous proposent les Gafa et dont les termes ne sont pas négociables. Cette contractualisation ne repose pas sur la loi, mais sur l’éthique, un ensemble de valeurs relatives, contingentes, instrumentalisables… estime David Forest. C’est pourquoi, de la Loi Lemaire au projet Transalgo de l’Inria, on en appelle partout à l’éthique… L’éthique d’ailleurs, n’était-elle pas l’alpha et l’oméga de la régulation inscrite dans la déclaration d’indépendance du cyberspace de JP Barlow ? Pour Forest, l’éthique est le paravent de l’autorégulation qui renvoie à un mélange entre morale et intérêt d’entreprises se voulant « socialement responsable », critique-t-il. L’autorégulation construit une norme privée fonctionnant en circuit fermé, car bouclée sur elle-même. Elle est un mode de régulation alternatif, voire substitutif, à la régulation juridique.

Comme le souligne David Forest en conclusion d’une tribune sur ce sujet : le but du procédé algorithmique, mû par ses propres normes, n’est-il pas de s’affranchir totalement de la normativité juridique, à l’image de ce que propose blockchain ? Les 23 principes d’Asilomar adoptés comme guide de référence éthique de l’intelligence artificielle (voir l’article de Numerama) n’ont-ils pas été produits avant tout pour inciter le gouvernement à ne pas réglementer ? C’était également mon analyse : établir des principes pour éloigner l’impact réglementaire qui menace les acteurs de l’intelligence artificielle.

Échapper au droit ? À croire parfois que c’est le seul enjeu que cherchent à relever les acteurs du numérique.

Hubert Guillaud

Notre dossier « Vers la justice analytique » :

• 1e partie : l’enjeu de l’ouverture des données de justice
• 2e partie : prédiction et régulation en leurs limites
• 3e partie : entre performance et optimisation
• supplément : où en est la police prédictive ?