« La légitimité de l’État administratif repose sur notre confiance dans l’expertise de ses agences », rappellent les professeurs de droit Ryan Calo (@rcalo) et Danielle Citron (@daniellecitron) dans un article de recherche. Mais de plus en plus, les services administratifs adoptent des systèmes automatisés pour s’acquitter des responsabilités qui leur sont déléguées. Le problème c’est qu’en passant à l’automatisation, l’administration sape son autorité et son existence même.

La réponse n’est pas de refuser aux administrations l’aide de la techno, expliquent les deux chercheurs, mais de n’adopter que des outils qui renforcent leur légitimité auprès du public.

En 2016, les services sociaux de l’Arkansas ont changé leur méthode d’évaluation des besoins des personnes handicapées. Alors que jusqu’à présent, des infirmières évaluaient leurs besoins en soins, les services sociaux ont opté pour un logiciel pour mener cette évaluation afin de faire des économies. Le nouveau système s’est révélé cruel et illogique, comme le pointait The Verge. Près de la moitié des bénéficiaires de l’aide des services sociaux de l’État ont été négativement affectés par le changement, jusqu’à ce qu’un tribunal fédéral interdise aux services sociaux d’utiliser ce système. En fait, expliquent les chercheurs, ni l’entreprise qui fournissait le système ni les responsables des services n’ont été en mesure d’expliquer son fonctionnement. Non seulement ils n’ont pas réussi à détecter les erreurs que les bénéficiaires faisaient remonter, mais ils ont également reconnu qu’ils n’avaient pas l’expertise pour le faire.

Le long article de Calo et Citron regorge d’exemples de ce type, proches de ceux qu’évoquaient Virginia Eubanks (@poptechworks) dans son livre Automatiser les inégalités. Ils soulignent combien nombre de systèmes ont produit des aberrations administratives, en violation des règles instituant des procédures équitables, et combien il était difficile pour les administrés, souvent les plus vulnérables, de contester les décisions du fait de l’opacité même des systèmes. Les services publics dépensent des millions pour acheter des systèmes automatisés et davantage pour résoudre les problèmes que créent ces systèmes, sans que cela ne remette en cause ce tournant vers l’automatisation.

Le problème ne concerne pas que les services sociaux : partout, les administrations déploient des systèmes automatisés pour évaluer les enseignants, les chômeurs, les justiciables… Un rapport récent (.pdf) indique que près de la moitié des services fédéraux américains utilisent des systèmes automatisés ou envisagent leur utilisation. Contrairement aux procédures humaines, avancent Calo et Citron, l’automatisation n’apporte pas de garanties quant à la transparence, à la responsabilité et à la régularité des procédures. Les normes juridiques qui régissent les processus de décision automatisés n’ont pas suivi le rythme des évolutions techniques, d’où la nécessité de proposer des mécanismes juridiques et techniques adaptés, comme l’expliquent depuis longtemps nombre de chercheurs à la pointe des réflexions sur la responsabilité algorithmique. Pour Calo et Citron, l’enjeu n’est pourtant pas de trouver les moyens de rétablir la situation que l’on connaissait. Pour les deux juristes, l’enjeu consiste plutôt à regarder si le pouvoir des administrations n’est pas en train de changer de nature.

L’automatisation s’impose sous les coups d’une politique économique d’austérité qui est en fait « hostile à l’administration », et ce alors qu’elle élargit les attentes quant à ce que le gouvernement peut offrir aux citoyens. L’automatisation questionne la justification même d’un État administratif soutiennent-ils. Mais elle permet aussi à celui-ci de répondre aux attentes croissantes de la société en matière d’impartialité et de réactivité.

Le risque d’un dysfonctionnement administratif généralisé

Le problème, c’est que l’automatisation, tel qu’elle est très largement pratiquée, érode les droits des administrés en ne garantissant plus de procédures régulières, en ne corrigeant plus les effets discriminatoires. Les tâches des jurys et des fonctionnaires sont désormais accomplies par des machines et les mécanismes procéduraux de transparence, de responsabilité ou d’explicabilité qui devait les accompagner n’ont pas suivi.

L’automatisation déplace très concrètement le pouvoir, expliquent les auteurs, or, les lois et constitutions ont été rédigées en partant du principe que ce sont les gens et non les machines qui prendraient des décisions et exécuteraient les tâches qui en découlent. La loi part du principe par exemple que les humains conduisent des voitures, quand désormais des robots le font. Certes, l’administration n’est pas sans défaut, rappellent les auteurs : excès de zèle, politisation ou inefficacité bureaucratique… sont nombreux. Mais aussi profondes que soient ces critiques, elles restent contrebalancées par l’existence de règles entre l’exécutif et l’administration. Même si les administrations ont le pouvoir d’interpréter les lois, elles sont sous la surveillance des autorités et les règles et procédures qu’elles établissent sont contrôlées notamment par le droit administratif. Mais l’automatisation, pour l’instant, mine les éléments démocratiques clés de la gouvernance administrative, à savoir notamment l’explication et la justification des décisions prises.

Pour Calo et Citron, si l’administration semble une anomalie constitutionnelle, elle se justifie par ses qualités d’expertise, de réactivité et d’agentivité, c’est-à-dire sa capacité à agir. Le problème est que l’absence de ces qualités dans les décisions automatisées sape la justification même de l’administration telle qu’on la connaît. Le fait que les administrations ne maîtrisent pas les machines auxquelles elles ont délégué leur autorité relève d’une pathologisation de l’automatisation. Pire, l’automatisation n’a pas produit l’efficacité attendue : elle n’a pas éliminé les préjugés ou la discrimination… Elle vise finalement surtout à échanger les préjugés humains contre la garantie d’une partialité systémique. Mais cette partialité est bien fragile, tant les problèmes se sont multipliés et cristallisés. Les administrations ont utilisé des systèmes malgré leurs défauts et n’ont cessé de valoriser l’automatisation des décisions malgré leurs limites. Les décisions sont devenues de moins en moins individualisées, sans possibilité finalement pour les individus d’être entendus. Elles créent de l’instabilité et de l’incertitude qui bouleversent la vie des gens et masquent des choix politiques difficiles (bien souvent, rappellent-ils, l’algorithme masque surtout l’austérité, c’est-à-dire, très concrètement, la réduction du nombre de bénéficiaires ou de nombre de places disponibles). La presse comme les tribunaux se sont fait l’écho d’innombrables pathologies de l’automatisation concernant les prestations publiques, les emplois, la protection de l’enfance, les condamnations pénales… Et nous ne faisons que commencer à découvrir ces nouvelles maladies de l’administration parce que les changements demeurent ponctuels plus que systémiques. Les litiges soulignent combien les outils sont inadaptés et pire, refusent aux individus des procédures équitables. Plutôt que de fournir des réponses agiles et flexibles, les systèmes automatisés créent des réponses pesantes et rigides, arbitraires et illogiques, qui peinent à évoluer quand les besoins des administrés évoluent. En Arkansas, les soins aux handicapés physiques à domicile avaient été réduits d’une moyenne de 43 % après l’automatisation et l’aide financière de 56 % ! L’Arkansas n’a pas été le seul État à être confronté aux « absurdités algorithmiques ». L’agence de santé de l’Idaho a construit un logiciel pour attribuer le nombre d’heures de soins à domiciles pour des personnes handicapées, et, sans surprise, l’outil a considérablement réduit les heures de soins, et ce, sans explications. L’Union américaine pour les libertés civiles (ACLU) a demandé a ce que l’agence explique ces modifications sans jamais obtenir de réponse, car l’algorithme utilisé relevait… du secret commercial ! Le procès qui s’en est suivi a surtout démontré combien l’outil fonctionnait à partir d’informations erronées et incomplètes et les lacunes des services sociaux (qui n’ont jamais vérifié la validité des décisions prises par le système !). Enfin, le tribunal a souligné combien les explications données aux bénéficiaires étaient lacunaires tant et si bien qu’elles ne leur permettaient même pas de contester la réduction dont ils étaient l’objet !

Calo et Citron racontent également les déboires du système d’évaluation des enseignants du district scolaire de Houston qui a généré nombre de résiliation de contrats, et qui a été poursuivi en justice par le syndicat des enseignants. Là encore, le tribunal a souligné que le district n’avait jamais audité les résultats du système et ses inexactitudes et que les professeurs n’avaient pas les moyens de comprendre ce qu’ils devaient faire pour obtenir de bons résultats. Même constat autour de l’agence pour l’emploi du Michigan et son système d’allocation chômage (dont la presse américaine s’est fait récemment l’écho, notamment le magazine Undark et Time magazine). Ce système censé administrer les allocations et vérifier la fraude a permis de supprimer un tiers du personnel de l’agence pour l’emploi de l’Etat. Mis en service en octobre 2013, le système automatisé (qui a coûté quelque 45 millions de dollars tout de même !) a multiplié par 5 les accusations de fraude en 2 ans, alors que seulement 7 % des 50 000 personnes accusées en avaient visiblement commis une. Le système a réclamé des pénalités indues de 400 % supérieures aux pénalités précédentes, a saisi les salaires et les comptes bancaires de nombres de demandeurs d’emploi. Lors de sa mise en service, il a généré 69 millions de dollars d’amendes contre 3 millions l’année précédente ! L’agence a utilisé des techniques de recouvrement de dettes sans ouvrir de possibilité de contestations, pas même pour déterminer si la fraude était intentionnelle, liée à des négligences ou accidentelle. En avril 2015, des demandeurs d’emploi ont lancé une action collective arguant que les robots automatisés avaient violé leurs droits à une procédure régulière. Cinq mois plus tard, l’agence a fini par mettre fin à son système. En 2017, elle a réexaminé les cas et annulé 70 % des décisions de fraude et remboursé 21 millions de dollars aux demandeurs d’emploi. Mais, le système défaillant n’en a pas moins fait des ravages : nombre d’entre eux ont été mis en faillite, d’autres ont vu leurs maisons saisies, certains sont même devenus SDF suite à cette affaire.

Au niveau fédéral aussi d’autres systèmes de décisions algorithmiques ont conduit à des saisies, à des suspensions injustifiées de prestations. Calo et Citron reviennent notamment sur le programme No Fly, la liste des personnes interdites de vol, qui a eu beaucoup de mal avec les homonymes, sans que le système n’indique aux personnes interdites qu’elles étaient sur la liste ni ne fournisse d’explications. Malgré les plaintes (notamment de 14 vétérans de l’armée qui se sont retrouvés interdits de voyager sans raison… explicite), le tribunal fédéral a estimé que ces listes violaient les droits des citoyens, mais a refusé de proposer une procédure notamment d’explication pour les personnes qui figurent sur ces listes, mais seulement un formulaire de recours pour s’en faire retirer. Des listes de surveillance sont désormais parfaitement opaques sont désormais installées dans l’architecture de sécurité mêmes des États-Unis, se désolent les chercheurs…

Quant aux préjudices subis par les gens affectés par les décisions automatisées erronées, ils restent souvent difficiles, compliqués et longs à faire reconnaître.

Saper le fonctionnalisme même des administrations

Les autorités délèguent leur pouvoir aux administrations, car elles disposent de l’expertise et de la flexibilité nécessaires pour gouverner un monde complexe… Mais de plus en plus, les responsables des administrations ne semblent plus comprendre les systèmes qu’ils mettent en place pour gérer ce qu’ils ont à gérer, estiment Ryan Calo et Danielle Citron, avec sévérité. En encodant les règles administratives dans des systèmes logiciels automatisés, « les fonctionnaires n’ont plus l’espace pour exercer leur pouvoir ». Pire, quand les conditions changent (fiscales ou normatives), le fonctionnaire n’est souvent plus en mesure de s’adapter, n’ayant que rarement la main sur des systèmes développés par des entreprises extérieures. En Arkansas, ni les fonctionnaires ni leurs prestataires n’étaient en mesure de réparer le système. Aux États-Unis, le gouvernement s’appuie largement sur des prestataires privés pour effectuer ses missions administratives, mais bien souvent, les entreprises sont plus difficiles à superviser et à être tenues pour responsables que les fonctionnaires. Au final, le recours au privé sape les normes démocratiques et diminue la capacité des gouvernements à répondre aux préoccupations des citoyens.

Le virage de l’État administratif vers l’automatisation est troublant constatent les auteurs notamment parce qu’il repose sur une absence d’expertise des services administratifs. Certes, ces échecs ne représentent peut-être que la pointe de l’iceberg de la transformation publique. Et les dénouements juridiques de plusieurs de ces cas montrent que le contrôle fonctionne encore. Pour Calo et Citron, le principe de la responsabilité algorithmique, défendu par nombre de chercheurs du domaine, comme l’informaticien Joshua Kroll (@realjoshkroll) dans un article de référence sur la question soutient la mise en place de principes, notamment techniques, pour restaurer la transparence et la responsabilité des outils automatisés. D’autres, comme Deirdre Mulligan (@DMulliganUCB) et Kenneth Bamberger (@kenbamberger) militent pour un retour de l’expertise de l’administration notamment en améliorant les processus de passation des marchés publics. Mais, si pour Calo et Citron les garanties de procédures ne sont pas suffisantes et doivent certainement être améliorées, peut-être faut-il remettre en question la procédure d’automatisation elle-même.

Un pouvoir administratif entièrement automatisé, à terme, n’a plus besoin de fonctionnaires pour fonctionner (voire, plus des mêmes fonctionnaires). Pour les auteurs, nous assistons à une automatisation accélérée défectueuse et peu expérimentée. Un recours excessif aux algorithmes sape la raison d’être des bureaucraties. Les demandes de moratoire, de publications ouvertes, de transparence, d’équité, s’inscrivent dans une tentative de revenir au statu quo ante. Mais ce n’est pas la seule approche…

David Schoenbrod dans son livre Power without responsibility (Yale, 1993, non traduit) ou Philip Hamburger dans Administrative Law Unlawful (Chicago University Press, 2014, non traduit), estiment que le développement d’un pouvoir administratif de plus en plus contraignant est la réponse des États aux nécessités modernes. Or, pour Calo et Citron, si la technologie érode les droits civils, il nous faut soit tenter de les restaurer… soit abandonner la technologie ! Mais, même s’il était possible de maintenir ou de restaurer le droit à une procédure régulière, cela ne justifie pas pour autant la continuité de l’État administratif que l’automatisation défait. La disponibilité d’outils censés être « meilleurs » que les précédents devrait même au contraire conduire à développer des normes de contrôle, de garantie et de gouvernance plus élevées.

Si les services administratifs se tournent vers l’automatisation, c’est d’abord et avant tout sous contrainte de ressources, rappellent les chercheurs. L’Etat doit rendre toujours plus de services, alors que la politique économique, elle, prône l’austérité et sape leur légitimité même. Comme si l’automatisation, en fait, n’avait pas d’autres fondements que l’austérité et la sape de l’État providence.

La technologie pour renforcer plutôt que détruire l’État administratif

Calo et Citron défendent pourtant une autre position :  « les technologies doivent aider l’État administratif à accomplir ses missions », pas à les détruire. Il doit recourir à la technologie quand elle permet d’étendre ses missions, quand elle permet de déléguer l’autorité et le pouvoir aux services administratifs plutôt que de le leur retrancher. Les pathologies de l’État administratif automatisé ont une caractéristique commune soutiennent-ils : déléguer l’expertise des services et des agents dans des systèmes mène toujours à la catastrophe !

Calo et Citron ne rejettent pas la technologie, de nombreux cas d’utilisation spécifiques par l’administration font des miracles et apportent des changements. Mais dans ces cas, les interventions technologiques sont orientées vers la promotion de l’engagement des utilisateurs et des agents, l’accès, la qualité, l’auto-évaluation… Ils ne sont pas conçus dans le seul but de réduire les coûts, mais visent à renforcer l’État administratif pour s’engager dans une gouvernance plus efficace et équitable. Ces innovations sont rarement externalisées. Elles génèrent des connaissances nouvelles, améliorent l’expertise comme la réactivité. Nombre d’administrations ont mis à profit la technologie pour se transformer, avancent-ils. Pourtant, il est nécessaire de tirer des lignes de démarcation entre une automatisation délétère et une autre qui renforce la légitimité. La systématisation de la collecte de données et de la surveillance administrative a entraîné des coûts importants, notamment pour les plus pauvres et les plus marginalisés. Une plus grande efficacité nécessite au contraire d’élargir l’accès, l’expertise des publics et agents, la minimisation de la surveillance et l’autonomisation (ou individualisation) des publics. « L’administration devrait faire plus avec plus et non moins avec moins ».

« Les administrations devraient se doter de nouveaux outils si et seulement s’ils renforcent plus qu’ils n’affaiblissent les services administratifs à se révéler meilleurs que l’exécutif pour régir la vie quotidienne des administrés », concluent-ils.

L’enjeu n’est pas tant que les systèmes automatisés renforcent une bureaucratie jusqu’à saper son existence, mais bien qu’ils la transforment, la renouvellent et lui donnent des missions nouvelles au service des publics qu’elle sert, et notamment des plus vulnérables d’entre eux.

Hubert Guillaud