Depuis 2013, le gouvernement britannique a lancé le What Works Network (@whatsworksuk, blog voir aussi le site de présentation du réseau), un réseau pour améliorer l’évaluation, la conception et les prestations des services publics, visant à inscrire les politiques publiques britanniques sur des méthodologies d’évaluation pour mesurer l’effectivité de leurs actions, c’est-à-dire produire des preuves sur « ce qui marche » (voir « Peut-on élaborer des politiques publiques à partir de la preuve de ce qui marche ? » ou le très récent rapport du Conseil d’État sur le sujet). Plusieurs agences travaillent sur différents sujets (la santé, l’éducation, la pauvreté, la criminalité, l’économie locale, le vieillissement, le bien-être, les sans-abris et le soin aux enfants… ). Un réseau visiblement coordonné par l’équipe (@B_I_Tweets) chargée des sciences comportementales auprès du Cabinet Office britannique. Chaque centre fait travailler fonctionnaires et chercheurs à produire des données et des rapports d’évaluation, les rendre accessibles et à aider les autorités et agents à l’utilisation des résultats.

L’une de ces agences, celle qui s’occupe d’évaluer ce qui marche dans l’aide sociale à l’enfance (What works for children social care, @whatworksCSC) vient de publier une étude (.pdf) (ainsi qu’un rapport technique .pdf) évaluant les systèmes d’identification automatisés des enfants à risques par les services à l’enfance, dont les enseignements sont très intéressants à la fois sur le fond et la forme… Sur le fond, comme le résume Michael Sanders (@mike_t_sanders), responsable de cette agence, l’analyse prédictive et le machine learning semblent des perspectives stimulantes. « Les statistiques et les données, bien utilisées, ont assurément le pouvoir rare d’éclairer le monde qui nous entoure ». Anticiper et prévenir les problèmes sont assurément les leviers d’une action publique efficace. Reste que pour l’instant, l’utilisation de ces technologies s’est révélée controversée, notamment dans le secteur de la police et de la justice, montrant que leur usage était souvent contraire à l’éthique (voire illégale), non consenti, et que leur efficacité accentuait surtout les biais raciaux et discriminatoires de nos sociétés. En collaboration avec des programmes locaux d’aide sociale à l’enfance, l’agence a donc évalué 32 modèles d’évaluation de l’enfance à risque. Aucun n’a atteint le seuil de réussite que fixait l’agence. Ces systèmes se trompent 6 fois sur 10. Sur 5 enfants effectivement à risque, les modèles pour l’instant passent à côté de 4. L’ajout d’information n’améliore pas leurs performances, tant les contextes sont multiples. La tentative d’analyse de biais n’a pas donné de résultats probants. Depuis les données portant sur quelques 24 000 enfants et provenant de 4 services sociaux régionaux et remontant jusqu’à 3 à 7 ans, le projet a tenté de faire 8 prédictions différentes, notamment de savoir un enfant signalé aux services sociaux va être à nouveau signalé dans les 12 prochains mois.

Une étude éthique complémentaire, menée par l’Alan Turing Institute, a permis d’établir des directives strictes pour cadrer le déploiement de systèmes de ce type, à savoir : améliorer la responsabilité de ceux qui s’engagent dans un déploiement, connecter les travailleurs sociaux qui travaillent au quotidien aux data scientists ; institutionnaliser des pratiques inclusives dans la conception ; financer des programmes de recherches dédiés ; améliorer la compréhension de l’usage effectif des données ; améliorer les diagnostics ; accentuer les résultats qui font progresser les individus et les familles ; améliorer la qualité des données.

Une étude (.pdf) de l’Institut Internet d’Oxford sur l’apport de la science des données pour les autorités locales a récemment conclu que les bénéfices financiers espérés de ces développements techniques ont peu de chance de se réaliser à court terme, du fait des coûts de déploiement, dans un contexte d’austérité. Quant aux travailleurs sociaux, bien peu croient à l’apport de ces outils dans un contexte et un métier où les relations humaines sont clés.

Michael Sanders conclut cependant que nous avons toujours besoin de données pour mieux éclairer les politiques publiques. Pour l’instant, ces systèmes ne fonctionnent pas. S’il existe de meilleurs modèles, alors qu’ils publient leurs résultats de manière transparente et vérifiable – invitant les acteurs à suivre, sur son modèle de transparence, un comportement exemplaire. Pour lui, pour l’instant, ces outils ne doivent pas être utilisés, et ce d’autant, que la crise du Covid-19 est en train de brouiller toutes les données. Ceux qui croient en ces approches d’avoir désormais réfléchir. Et ceux qui pensent pouvoir faire mieux doivent le prouver.

Pour Anne Longfield, Défenseuse de l’enfance en Grande-Bretagne, plus de 2,3 millions d’enfants britanniques grandissent dans un environnement familial vulnérable. C’est bien plus que ce que les services sociaux peuvent atteindre, d’où l’enjeu d’une meilleure prévention des risques. Pourtant, précise-t-elle, la science des données ne doit pas remplacer les humains. Le scandale des évaluations automatisées au bac qui a secoué l’Angleterre en août 2020 a sonné comme un important avertissement, non pas à ne pas utiliser les algorithmes, mais à les utiliser avec une très grande prudence et ne jamais oublier de traiter les personnes comme des individus.