Fin décembre 2017, la ville de New York avait lancé un groupe de travail sur la question des algorithmes (appelé New York City Automated Decision Systems (ADS) Task Force que nous évoquions rapidement ici), chargé d’élaborer une politique sur ces questions. Saluée comme une initiative modèle, le groupe de travail était censé produire des règles pour encadrer l’utilisation des technologies de traitement dans les politiques publiques. Mais voilà, rapporte CityLab, l’initiative s’est enlisée. Le groupe de travail n’a même pas réussi à avoir accès aux informations de base sur les systèmes de traitement automatisés déjà utilisés par la ville ni à produire un catalogue de ces systèmes.

Le rapport non officiel (.pdf) (intitulé « Se confronter aux boîtes noires ») publié par l’IA Now Institute (@ainowinstitute) s’inquiète justement des limites des procédures administratives existantes pour affronter les décisions automatisées. À l’heure où les décisions sont de plus en plus automatisées, la question du contrôle de l’équité de ces décisions demeure souvent entière, et ce alors qu’en reproduisant nos biais, ils peuvent se révéler encore plus injustes et discriminants que d’autres types de procédures. Le groupe de travail de la ville de New York – qui comprenait également Meredith Whittaker, cofondatrice de l’AI Now Institute – a formulé des recommandations structurelles en recommandant la création d’une structure dédiée au sein de l’administration municipale auquel le maire de New York, Bill de Blasio, avait répondu positivement en créant un poste de responsable de la gestion et des politiques algorithmiques au sein du bureau des opérations du maire, mais qui semble avoir relevé pour l’instant du pur affichage. Les membres du groupe de travail ont souligné que les organismes municipaux n’ont pas été à même de fournir une liste des systèmes automatisés en service, du fait des secrets commerciaux liés aux technologies de leurs fournisseurs de services. « Il y a eu des retards et des obscurcissements, puis, au printemps 2019, des refus catégoriques », a expliqué Albert Fox Cahn à Fast Company, directeur exécutif de l’association Stop Surveillance (@STOPSpyingNY), du Centre pour la justice urbaine (@urbanjustice) qui a participé à ce groupe de travail. Cahn rappelle dans sa tribune que la Task Force avait pour but d’examiner toutes les fonctions automatisées de la ville : de la répartition scolaire des élèves en passant par les logiciels qui décident du ramassage des ordures… Il souligne que le conseil municipal avait d’abord exigé que la ville n’ait recours qu’à des systèmes de décision open source, mais qu’elle a rapidement cédée sur ce point. Il explique encore que les discussions du groupe de travail se sont rapidement enlisées autour de la question visant à déterminer ce qui relevait ou ne relevait pas de décisions automatisées, sans parvenir à un consensus pour déterminer le périmètre de leur action. Petit à petit, le périmètre s’est restreint aux systèmes d’IA et de machine learning, excluant les formes d’automatisation plus simples, celles, nombreuses, qui fonctionnent via un simple tableau sous Excel. Or, souligne-t-il « Vous n’avez pas besoin d’un modèle en langage naturel de plusieurs millions de dollars pour développer un système dangereux qui prend des décisions sans surveillance humaine, et qui a le pouvoir de changer la vie des gens ». Les fonctionnaires de la ville ont tenté de limiter le champ d’action du groupe de travail au code source algorithmique, mais sans parvenir à ouvrir au groupe de travail un accès à ces codes. Ce n’est pas tant que les données n’existent pas, pointe Cahn : la ville dispose d’informations sur les systèmes et même des informations sur leurs fonctionnements, mais il est difficile pour les services d’assumer une transparence. Le rapport officiel de la ville en reste à des préoccupations sur les biais, le financement ou la régulation nécessaire, sans faire de réelles propositions pour lever ces difficultés.

Si le récent rapport (.pdf) de la ville de New York reconnait que le groupe de travail a eu des difficultés à obtenir des informations du fait de la protection liée au caractère propriétaire des systèmes utilisés. Le rapport non officiel souligne que les municipalités doivent mieux contrôler les contrats qu’elles passent avec les fournisseurs de technologies, notamment via des clauses d’obligation de transparence. Pour l’AI Now Institute, l’échec de New York risque d’être un bien mauvais exemple pour toutes les autres administrations et risque de créer un dangereux précédent permettant aux villes de ne rien faire pour améliorer ces situations. La ville de Portland qui a récemment adopté une résolution sur la protection de la vie privée a demandé une évaluation des impacts des systèmes de décision automatisés, mais elle n’a pas réalisé d’inventaire des systèmes concernés, a déclaré Hector Dominguez coordinateur des données ouvertes de la ville. À Seattle, la ville a mis à jour une liste (.pdf) de technologies de surveillance utilisées par les agences municipales. La ville et le comté de San Francisco ont eux recours à une boîte à outils pour évaluer l’impact des systèmes algorithmiques.

Dans un article, les professeurs Deidre Mulligan (@DMulliganUCB) et Kenneth Bamberger de Berkeley, estiment que les autorités doivent mettre à jour leurs politiques d’achats de technologie, pour « passer d’une mentalité de passation de marchés publics à une mentalité de décision politique », afin de permettre de construire et d’utiliser des outils qui soient alignés avec les valeurs que les collectivités veulent mettre en oeuvre (dans son livre, Ben Green, le data scientist de la ville de Boston, ne disait pas autre chose). Comme ils le soulignent encore dans leur article, le risque est de laisser les décisions de conception aux services privés et d’abdiquer la responsabilité des acteurs publics et la participation du public dans l’élaboration des politiques publiques. Pour eux, il est nécessaire d’avoir recours à une conception « contestable » (qui fait écho aux modalités de contestations que nous évoquions il y a peu), c’est-à-dire « une conception qui expose les valeurs des caractéristiques et des paramètres choisis et qui prévoit une participation humaine et itérative à l’évolution et au déploiement des systèmes de décision automatisés ».

L’exemple emblématique de cet échec fait écho aux échecs récents que bien des entreprises de technologie ont rencontré à mettre en place des garde-fous, via des comité d’éthiques dédiés à la question de l’IA. Il souligne également combien les politiques publiques ont une marche de responsabilité à franchir pour devenir exemplaires : et cet enjeu là ne se limite pas à New York ou aux villes américaines, mais concerne dès à présent les politiques publiques de tous les pays engagés dans des questions de transformation numérique.

*

Profitons de cet article pour faire, comme chaque année (2018), un point rapide sur un autre rapport de l’AI Now Institute : son rapport annuel 2019 (.pdf) qui pointe 12 recommandations pour améliorer les questions de justice liées au déploiement des systèmes automatisés :

• Interdire l’analyse émotionnelle automatisée (c’est-à-dire toutes les technologies qui visent à faire de l’analyse de sentiment, de personnalité, des émotions ou relatives à la santé mentale) ;
• Décider d’un moratoire sur la reconnaissance faciale, notamment liée à leur utilisation dans les milieux sociaux sensibles et sur des questions politiques allant de la surveillance au maintien de l’ordre, à l’éducation et à l’emploi ;
• Fournir des mesures de protection pour les communautés contre lesquels ces technologies sont utilisées, afin qu’elles puissent évaluer, contester ou rejeter leur déploiement ;
• Invite l’industrie de l’IA a apporter des changements structurels pour remédier au problème systémique de son absence de diversité ;
• Inviter la communauté des chercheurs à dépasser la question de l’équité technique et de correction des biais pour s’intéresser à la politique et notamment aux conséquences de l’utilisation de l’IA, à ces effets en matière de classification et déplacer ses préoccupations jusqu’aux enjeux « non techniques » (comme nous y invitait déjà la fondatrice de l’AI Now Institute, Kate Crawford) ;
• Renforcer l’étude sur l’impact climatique de cette industrie ;
• Ouvrir un droit à la contestation à l’encontre des décisions abusives liées aux systèmes automatisés, notamment pour les travailleurs confrontés à ces systèmes, via leurs syndicats.
• Permettre aux ingénieurs qui travaillent sur ces systèmes de contester les développements non éthiques dont ils participent ;
• Renforcer la législation sur la protection biométrique de la vie privée, car les données biométriques de l’ADN aux empreintes faciales sont au coeur des utilisations les plus toxiques de l’IA ;
• Réglementer l’intégration des formes de surveillance publiques et privées, commerciales et étatiques en rendant obligatoire la transparence des partenariats, des acquisitions et des contrats entre ces deux secteurs ;
• Elargir les études d’impact algorithmiques aux questions de climat, de santé et de déplacements ;
• Améliorer l’enseignement de l’IA notamment en obligeant les chercheurs à documenter leurs modèles et leurs données ;
• Enfin, les législateurs devraient exiger un consentement éclairé pour l’utilisation de toute donnée à caractère personnel dans le cadre des applications d’IA liées à la santé.