Pour Marlies van Eck (@marliesEck), avocate et chercheuse à la Radboud Université (Pays-Bas), l’utilisation d’algorithmes pour détecter la fraude sociale suppose une forte interdépendance des systèmes entre eux, sans offrir de garanties suffisantes en cas de défaillances.

En janvier 2021, le Premier ministre néerlandais Mark Rutte a démissionné rapporte Le Monde, suite au dénouement d’un long scandale lié à l’automatisation des prestations sociales. 26 000 familles ont été accusées à tort de fraude aux prestations sociales à cause notamment d’un algorithme discriminatoire, explique Vice. Le scandale des allocations familiales néerlandaises (kinderopvangtoeslagaffaire) fait penser à celui du gouvernement australien (le robodebt que nous avions évoqué dans notre article « L’austérité est un algorithme ») ou a celui du gouvernement britannique (« De l’automatisation de la précarité »). Alimentées par la montée de l’extrême droite et la chasse à la fraude aux aides sociales, les autorités ont mis en place à partir de 2013 des algorithmes pour détecter les profils susceptibles de commettre des fraudes. Or, visiblement, on est passé de la détection des profils à la coupure des aides très rapidement (sans que ce passage de l’un à l’autre ne soit très documenté, visiblement). Pour les personnes classées comme fraudeurs, peu d’enquêtes ont été menées et peu de recours ouverts. Au contraire, le moindre oubli ou la moindre erreur a favorisé un classement strict des familles soupçonnées sous une étiquette « inamovible » de fraudeur avec obligation de remboursement rétroactive. Et ce sans avoir droit à un échelonnement de ces remboursements. Pire, le fait d’être déclaré fraudeur avait pour conséquence l’exclusion d’autres prestations, notamment l’allocation logement ou pour soin de santé. Pour le sociologue spécialiste de criminologie à l’université Vrije à Amsterdam et spécialiste de police prédictive, Marc Schuilenburg (@marcschuilen, auteur de Hysteria et du livre collectif sur la société algorithmique, Routledge, 2020), le scandale des allocations familiales est très lié à la montée d’un populisme punitif. Quant à la démission de Mark Rutte, elle est surtout symbolique. Il dirige le gouvernement et sera présent sur les listes électorales de mars. Le parti conservateur devrait même l’emporter haut la main.

Pour l’avocate Nani Jansen Reventlow (@interwebznani), directrice du Fonds pour la liberté numérique européen, dans une tribune pour Politico : l’enquête menée par l’autorité néerlandaise de protection des données a montré sans équivoque que les méthodes utilisées par l’administration fiscale pour détecter des cas de fraudes d’allocations de garde d’enfant étaient foncièrement discriminatoires. Les parents qui ont fait l’objet d’un examen par l’administration fiscale l’ont été en raison de leur origine ethnique ou de leur double nationalité. En quelques années, quelque 26000 parents ont été accusés de fraude à tort. 10 000 familles ont dû rembourser des sommes perçues, conduisant nombre d’entre elles à des difficultés financières, faillites, divorces, perte de logement, chômage… suicide. En 2020, les députés des Pays-Bas ont révélé que l’administration fiscale avait également inscrit à tort quelque 180 000 citoyens sur des listes noires. Pour Nani Jansen Reventlow, ces scandales sont d’abord le rappel combien le racisme demeure institutionnel. Mais qu’il est devenu également profondément technique, car les systèmes sur lesquels s’appuient ces décisions amplifient les inégalités structurelles de la société. Si le gouvernement néerlandais a présenté ses excuses et promis une indemnisation aux familles touchées, l’utilisation de la nationalité ou de l’origine ethnique dans le profilage des risques n’a toujours pas été désavouée. Au contraire, le Premier ministre a même fait campagne en promettant de créer une exception à la législation sur la vie privée pour permettre la création de listes noires d’individus et permettre le partage de ces informations entre institutions gouvernementales et privées. L’avocate en appelle à l’Union européenne pour renforcer la lutte contre le racisme institutionnel.

Aux Pays-Bas, nous travaillons avec des algorithmes depuis si longtemps que nous les traitons parfois de manière trop peu critique, explique la chercheuse Marlies van Eck dans un article publié par son université. Or, les données sont largement interconnectées et s’influencent les unes les autres, rappelle-t-elle, ainsi la base de données des dossiers personnels garde la trace de la composition des familles, qui influence le montant des allocations sociales, des impôts, etc. Cette approche en chaîne semble très efficace : une seule modification de votre dossier personnel parvient à tous les organismes publics affiliés dans les 24h… Mais son corollaire est de rendre plus difficile la réparation d’une erreur. Le risque par exemple, est qu’on puisse mettre fin aux prestations sociales de milliers de personnes en quelques clics.

Or, souligne la juriste, dans la pratique, le droit administratif est bien plus souple. Les lois sont souvent formulées avec des termes qui impliquent des conditions, comme des idées de proportionnalité, de raisonnabilité, de contexte… Or, les algorithmes, eux, interprètent des seuils qu’ils transforment en paramètres d’une manière rigide. Pour elle, « c’est une erreur de penser que la loi peut être directement traduite en code informatique », notamment parce que les lois sont rarement suffisamment détaillées pour cela et qu’elles laissent la place pour l’interprétation humaine. Or, pour être efficace, l’algorithme a besoin justement de détails jusqu’à ne laisser aucune place pour l’interprétation. C’est tout l’enjeu du scandale des prestations sociales néerlandais…

Nous ne remettrons pas le mauvais génie de la numérisation et des décisions automatisées dans la bouteille, explique Marlies van Eck, notamment parce que les deux permettent des économies d’échelles nouvelles. La chercheuse invite à un choc de simplification, mais aussi de recensement des systèmes. L’institut néerlandais des droits de l’homme a recommandé de cartographier l’impact des décisions en chaînes sur les droits de l’homme, permettant d’éclaircir les normes utilisées et de développer l’audit et l’inspection des systèmes. Certains chercheurs, souligne la chercheuse, estiment qu’il est nécessaire de mettre en place une autorité centrale de contrôle des systèmes que les citoyens pourraient saisir en cas de problème. Mais pour Marlies van Eck, c’est au gouvernement de faire son travail correctement. La transparence et l’explicabilité sont prônées comme des solutions, mais les citoyens n’ont pas à comprendre la complexité des détails juridiques et techniques de ces systèmes. « Quand j’achète du lait au supermarché, je n’ai pas besoin de comprendre chaque étape. Je sais que ce qui y est vendu répond à des exigences de qualité et de sûreté ». Il devrait en être de même avec les algorithmes.

Dans un billet de son blog de recherche, Marlies van Eck déploie plus avant son propos. Elle souligne que partout dans le monde, les administrations fiscales automatisent leurs tâches par l’interconnexion des données entre agences gouvernementales. Le problème, c’est que ces procédures d’interconnexion entraînent, sous l’effet de chaîne, la propagation des décisions d’une agence l’autre.

Or, dans ces cascades, les productions juridiques deviennent insuffisantes. La prise de décision automatisée est devenue courante : elle régit 90 % des 11 millions de déclarations d’impôts annuels des Néerlandais. Or, explique-t-elle, les règles de décisions sont problématiques, car elles ne sont pas accessibles à l’évaluation : ni le juge ni le contribuable ne peuvent déterminer pleinement si les décisions prises sont conformes à la loi ! L’autre maillon faible du système, c’est la propagation de la décision de la chaîne administrative. Les conséquences négatives d’une décision ne sont pas suspensives en cas de recours juridique par exemple. Pire, souligne-t-elle, même lorsque les décisions ont des effets visibles, elles ne sont pas considérées comme relevant de la compétence de l’autorité qui a pris la décision dont les conséquences vont s’amplifier en cascades et les autorités se renvoient les problèmes, peut-être parce que les enjeux deviennent trop complexes. Pour Marlies van Eck, il faut que la justice soit facilitée sur le plan juridique comme technique. Les règles de décisions utilisées doivent pouvoir être expliquées et clarifiées sur demande. Mieux, elles devraient être traitées comme la loi et être soumises à un contrôle démocratique et supervisé par une autorité indépendante. Le principe de défense des administrés devrait être renforcé en permettant par exemple qu’aucune décision ne se propage sans que le citoyen n’ait eu l’occasion d’en discuter. Pour cela, il serait nécessaire d’allonger le délai de prescription par exemple. Elle invite également à doter les systèmes d’une catégorie inattendue ou d’un « bouton Kafka » qui permette au fonctionnaire de retirer une affaire du traitement automatisé. Enfin bien sûr, chaque citoyen devrait pouvoir accéder à un fonctionnaire pilote qui devrait garantir ses droits dans les labyrinthes algorithmiques. Enfin, les agences interconnectées devraient également avoir l’obligation de coopérer dans les back-offices des systèmes et les autorités devraient mettre en place une « iAuthority », une organisation qui aide les citoyens à corriger les données fausses ou inexactes des registres. Pour les chercheurs Rik Peeters (@rikpeeters2) et Arjan Widlak (@arjanwidlak directeur de la brigade Kafka néerlandaise, un réseau de recherche-action sur les dysfonctionnements bureaucratiques, @kafkabrigade), il est nécessaire de sortir des « cages numériques » que produisent les systèmes d’information administratifs interconnectés.

Hubert Guillaud

MAJ : #codeislaw disait Larry Lessig ! Dans le secteur public, on estime de plus en plus souvent qu’il faut développer les lois et les règles comme un code. C’est que l’Observatoire de l’innovation du secteur public (@OPSIgov) appelle « Règles en tant que code » (Rac), le processus de rédaction de réglementations dans des langages consommables par la machine, qui a d’ailleurs produit un rapport sur le sujet de l’élaboration de « règles exécutables ». Pour le spécialiste australien du sujet, Tim de Sousa (@timdesousa, blog) l’enjeu est plutôt de mieux définir « que voulons-nous que les lois en tant que code fassent ». Que voulons-nous que ces règles aident à accomplir, ce qui signifie également, qu’il y a des choses que ces règles ne peuvent pas accomplir ! Pour lui, cela montre qu’il ne suffit pas de transformer les règles en code car toutes ne s’y prêtent pas !