L’excellent webzine Logic (@logic_magazine) revient sur le remplacement récent par le gouvernement australien de services sociaux par un logiciel. Non sans échos aux propos de Virginia Eubanks qui s’intéressait à ce phénomène aux États-Unis, l’écrivaine Gillian Terzis (@gillianterzis) nous montre à quoi ressemble l’austérité automatisée en Australie.

En Australie, les prestations sociales sont conditionnées aux ressources des bénéficiaires et le contrôle des ressources est vu comme un moyen d’assurer l’équité des prestations. Tout le problème est que ceux qui ne répondent pas aux exigences strictes du système doivent alors rembourser leur « dette » aux autorités. La « dette » est la différence entre ce que vous recevez effectivement et ce que vous êtes censé recevoir. Le système s’appuie sur un algorithme qui compare ce que les gens reçoivent de l’aide sociale et leurs revenus déclarés aux impôts. En 2016, la recherche d’anomalies a été complètement automatisée par l’agence CentreLink chargée d’administrer les prestations sociales. Le résultat, rapporte Gillian Terzis a été désastreux : e-mails et appels automatiques menaçants, difficulté voire impossibilité de contester… Suite à une enquête du Sénat en mai 2017, le gouvernement australien a été contraint de suspendre le système.

Pour Gillian Terzis, l’automatisation, ici, a éliminé l’expérience humaine. Les gens étaient dépourvus de recours pour expliquer ou contester leur situation, comme le soulignent les milliers de témoignages récoltés sur le site NotMyDebt : 29 millions d’appels à Centerlink sont restés sans réponses en 2016 ! L’enquête a montré pourtant que la plupart de ces réclamations étaient mal calculées voire inexistantes. En fait, la méthode de calcul retenue ne parvenait notamment pas à prendre en compte les fluctuations de revenus des travailleurs occasionnels et contractuels, d’où des variations entre le calcul de revenus estimé et le niveau de droit de prestation ouvert. De simples fautes de frappe entre les noms des employeurs des deux systèmes pouvaient générer des demandes de remboursement. Le logiciel, capable de générer 20 000 réclamations automatisées par semaines semblait d’autant plus prolifique que les agences chargées de récupérer les dettes travaillaient à la commission.

Le système australien, n’est pas le seul système défaillant. Un article du Guardian de 2016 rapporte par exemple les déboires de l’agence pour l’emploi du Michigan aux États-Unis, qui a émis des demandes de remboursement auprès de 93 % de ses bénéficiaires entre 2013 et 2015 !

Pour Gillian Terzis, ces dysfonctionnements n’étaient pas tant des bugs que des caractéristiques, visant notamment à décourager les gens à s’expliquer, à rendre le système le plus punitif possible, à générer des recouvrements… L’automatisation des services sociaux et le développement de systèmes de contrôles automatisés sont le résultat de politiques libérales délibérées, souligne Terzis. Les libéraux n’ont cessé de marteler que le chômage relevait de la responsabilité des chômeurs plutôt que d’être le symptôme des dérives du capitalisme. L’aide sociale a de plus en plus été associée à des obligations en retours où le moindre manquement était sévèrement sanctionné. Pour Gillian Terzis, comme pour Virginia Eubanks, l’automatisation du contrôle des plus pauvres est une conséquence logique de politiques visant à limiter l’Etat-providence et à confier des prérogatives d’État à des entreprises privées. « La technologie devrait être utilisée pour rendre les services sociaux plus transparents, plus équitables et plus accessibles à ceux qui en dépendent », rappelle-t-elle en soulignant qu’un outil n’est bon qu’à hauteur de la bienveillance de la politique qui le conçoit.

Les outils automatisés sont assurément très efficaces pour traiter les grands volumes et la répétition. C’est ce qui légitime leur utilisation dans le secteur social. Sauf que c’est un secteur plus sensible que bien d’autres à l’automatisation, qui nécessite en contrepartie des garanties, des voies de recours et de contestations qui, elles, ne peuvent pas être automatisées. Le développement des outils de traitements massifs nécessite assurément, à rebours, plus d’interactions individuelles. Comme le souligne l’éditorial du numéro de Logic consacré à la Justice, « si la justice peut avoir une composante technique, l’injustice, elle, n’a jamais de solution purement technique ».

MAJ : Sur le blog Data & Society, Jacob Metcalf (@undersequoias), chercheur en éthique et fondateur de la société de conseil Ethical Resolve pointe en guise d’exemple les failles du dispositif électronique de vérification de visites d’aides-soignants ou de personnes préposés aux soins personnels auprès de bénéficiaires de soins de santé aux Etats-Unis. Le but de ces dispositifs est de s’assurer que les services facturés ont été effectivement fournis, mais ils ne sont pas que des pointeuses modernes, souligne le spécialiste, elles sont également des outils de surveillance des bénéficiaires. Des capacités de surveillance qui peuvent être utilisées comme moyens pour limiter l’accès aux soins de santé des bénéficiaires.

Jacob Metcalf parle d’ailleurs de « surveillance réfractive » pour désigner le fait que la surveillance puisse être adaptée à d’autres fins. « Il est rare que les données collectées dans un but soient limitées à cet objectif », rappelle-t-il. Les sociologues Solon Barocas et Karen Levy ont montré par exemple que la surveillance du comportement des consommateurs dans les magasins était souvent détournée pour surveiller les activités des employés. Les systèmes de fidélisation des clients que les employés peuvent consulter depuis leurs tablettes pour renseigner les clients sont ainsi également utilisés pour surveiller leur travail, adapter leurs horaires ou rendre les employés plus substituables les uns aux autres. « La collecte d’informations sur un groupe peut conduire à un contrôle accru sur un autre groupe car les données sont facilement réutilisables. » La même chose se passe quand les aide-soignants ou les personnes chargés d’aider des bénéficiaires d’aides se connectent à l’application qui les surveille, documentant par là également ce que font ou où sont les bénéficiaires, au risque par exemple de les assigner à résidence. Comme le pointait Virginia Eubanks où comme le souligne le théoricien Yascha Mounk (@yascha_mounk) dans son livre L’âge de la responsabilité, les systèmes technologiques pour surveiller les pauvres sont généralement construits pour fournir la preuve que leur souffrance relève de leur propre faute et responsabilité. Les données deviennent un moyen pour leur refuser des droits, alors qu’elles sont produites pour s’assurer de questions de conformité. Pour Metcalf, cela montre que les cahiers des charges des systèmes doivent être mieux documentés et plus précis quant à leurs fonctions vis à vis de la vie privée.