Pour résoudre les dangers et les biais des calculs, les entreprises se tournent de plus en plus vers des entreprises privées pour faire réaliser l’audit de leurs systèmes, tout en continuant à protéger leurs calculs de tout examen public, explique le journaliste Alfred Ng (@alfredwkng) pour The Markup (@themarkup). Si chercheurs et législateurs recommandent l’audit pour tester les systèmes de décision automatisés et analyser leurs biais, reste à savoir si le remède n’est pas un placebo.

Alfred Ng évoque notamment le cas célèbre de de HireVue, un système de recrutement qui évalue les candidatures par vidéo via des logiciels d’analyse de sentiment, et prétend déterminer depuis l’analyse des expressions faciales ou le ton de la voix, si un candidat est adapté à l’emploi visé – ce qui n’est pas sans poser problème. Avec l’aide d’Orcaa, le cabinet d’audit de la mathématicienne Cathy O’Neil (@mathbabedotorg, dont nous avons souvent parlé depuis 2014, notamment lors du lancement de cette entreprise), auteure d’Algorithmes, la bombe à retardement (Les arènes, 2018), l’entreprise a annoncé en janvier avoir réglé ses problèmes de discrimination à l’embauche, notamment en promettant d’éliminer d’ici la fin de l’année l’analyse vidéo de ses entretiens (visiblement au profit d’un recentrement sur une évaluation de la performance, de l’analyse de CV et des tests psychométriques – qui ne sont pourtant pas plus vertueux -, rapporte FastCompany). Comme l’explique FastCompany, HireVue estime que le rapport d’audit montre que ses évaluations seraient impartiales, alors que celui-ci n’a observé qu’un cas d’utilisation spécifique, qui ne comprenait ni l’analyse des expressions faciales ni les calculs de prévisions de performance des employés.

Alors que le terme d’audit algorithmique pourrait faire penser que nous sommes face à des pratiques d’audit aussi bien établies que la comptabilité ou la conformité fiscale, la méthode manque encore de maturité. Le problème est que les préjudices algorithmiques ont tendance à être individualisés et difficiles à diagnostiquer. De plus, les entreprises n’ont pas à subir de conséquences lorsque leurs algorithmes sont discriminatoires. En fait, l’auto-évaluation bien souvent peut faire poser un risque plus important pour l’entreprise, estime Alex Engler responsable de l’Initiative pour l’intelligence artificielle et les technologies émergentes du Brookings Institute pour FastCompany. En fait, les auditeurs eux-mêmes n’ont pas toujours intérêt à être aussi critiques que nécessaire, surtout quand la société qu’ils contrôlent est aussi celle qui signe leurs honoraires. Enfin, l’audit algorithmique est pour l’instant loin d’être un processus purement mathématique, car il y a d’innombrables choix subjectifs dans chaque audit spécifique. Cathy O’Neil et sa société ont peu de moyens de pression pour amener HireVue a prendre des mesures audacieuses, à d’élargir la portée de l’audit pour qu’il soit plus significatif, comme à présenter honnêtement son rapport. HireVue semblait plus intéressée par une presse favorable que par une introspection légitime. Au final, cette histoire légitime l’absence de confiance que les utilisateurs peuvent avoir dans l’IA. « Sans une modification des incitations du marché ou une véritable surveillance gouvernementale, les audits algorithmiques ne suffiront pas à eux seuls à nous responsabiliser en matière de systèmes d’IA ».

Bien que le concept semble similaire à des pratiques d’audit bien établies telles que la comptabilité financière et la conformité fiscale, l’audit algorithmique manque des incitations nécessaires pour fonctionner comme un contrôle des applications d’IA.

Pour Alfred Ng, ce débat est emblématique des limites de l’exercice. Les entreprises peuvent utiliser l’audit pour apporter de réelles améliorations, mais rien ne l’assure. En fait « il n’existe pas de normes ou de réglementations industrielles qui obligent les auditeurs ou les entreprises qui les utilisent à rendre des comptes ». Il n’y a qu’environ 10 à 20 entreprises réputées qui proposent des examens algorithmiques, a déclaré Rumman Chowdhury (@ruchowdh), fondatrice de la société d’audit algorithmique Parity.

En 2016, un rapport (.pdf) de l’administration Obama sur les systèmes algorithmiques et les droits civils avait encouragé le développement d’une industrie de l’audit algorithmique. Cependant, l’embauche d’un auditeur n’est toujours pas une pratique courante, car les entreprises n’y sont pas obligées et, selon plusieurs auditeurs, les entreprises ne veulent pas souvent de l’examen minutieux ou des problèmes juridiques potentiels qu’un audit peut soulever, en particulier pour les produits qu’elles commercialisent. Pour ceux qui engagent des auditeurs, il n’existe pas de normes sur ce qu’un « audit » devrait impliquer. Même une proposition de loi de la ville de New York qui exige des audits annuels des algorithmes d’embauche ne précise pas comment les audits doivent être menés. Un sceau d’approbation d’une société d’audit pourrait signifier un examen beaucoup plus minutieux que celui d’une autre. Et comme les rapports d’audit sont presque toujours liés par des accords de confidentialité, les entreprises ne peuvent pas comparer leurs travaux respectifs. « Le gros problème, c’est que nous allons découvrir qu’à mesure que ce domaine devient plus lucratif, nous avons vraiment besoin de normes pour définir ce qu’est un audit », a déclaré Chowdhury. Or, bien souvent, les entreprises d’audit n’ont même pas accès au code logiciel ! Ainsi, ORCAA n’a pas eu accès aux détails des systèmes de HireVue, malgré leur demande et a centré son analyse sur la manière dont certaines parties prenantes sont affectées par l’algorithme.

De nombreux audits sont réalisés avant la sortie des produits, mais cela n’assure pas qu’ils ne rencontreront pas de problèmes. Si les banques et les entreprises de santé commencent à développer des contrôles continus de leurs systèmes dans la durée, la pratique est encore loin d’être courante. Arthur (@itsArthurAI), la société de surveillance algorithmique de Liz O’Sullivan (@lizjosullivan) a ainsi installé un tableau de bord qui recherche les anomalies dans les algorithmes tels qu’ils sont utilisés, et ce en temps réel avance-t-elle. Par exemple, ses systèmes seraient capables d’alerter si un algorithme se mettait à rejeter un grand nombre de femmes pour une demande de prêts.

Autre problème : l’audit n’assure pas que l’algorithme soit réparé ! « Vous pouvez avoir un audit de qualité et ne pas obtenir de résultats de la part de l’entreprise », a déclaré Inioluwa Deborah Raji, chercheuse à l’Algorithmic Justice League. « Il faut beaucoup d’énergie pour combler le fossé entre l’obtention des résultats de l’audit et leur traduction en responsabilité. » Bien souvent, les chercheurs, journalistes et associations doivent faire des analyses par eux-mêmes et publiciser les problèmes pour créer des protestations et obtenir des réactions des entreprises, à l’image de l’étude Gender Shades de Joy Buolamwini (@jovialjoy) qui s’en prenait nommément aux outils de reconnaissance faciale d’IBM et de Microsoft.

Reste qu’il demeure difficile d’alerter sur les risques algorithmiques. Parce qu’elle est plus accessible et visible, la reconnaissance faciale mobilise bien plus que les discriminations et les injustices des algorithmes qui calculent des taux d’intérêt ou votre ordre de passage pour une vaccination. Or, pour Inioluwa Deborah Raji, bien souvent l’amende ou les répercussions juridiques dépendent surtout du niveau de protestation du public.

Pour Mutale Nkonde (@mutalenkonde), fondatrice de AI for the people (@AI4thPPL), qui a travaillé au projet de loi fédérale américaine de responsabilité algorithmique, ces questions montrent qu’il est nécessaire d’avoir une agence gouvernementale dédiée, qui, plus qu’établir des normes, pourrait exiger que les entreprises agissent en fonction des résultats pointés. Pour le sénateur démocrate Ron Wyden (@ronwyden), moteur de ce projet de loi, il faut travailler sur les deux fronts : le contrôle et l’établissement de critères qui fassent consensus.

Hubert Guillaud

MAJ : Pour OneZero, la sociologue Mona Sloane (@mona_sloane), chercheuse au Centre pour l’IA responsable de l’université de New York (@AIresponsibly) évoque également le « piège de l’audit algorithmique ». La vérification et l’inspection des modèles algorithmiques en terme de partialité ou de conformité est en plein boom, explique la chercheuse. Le problème, pointe-t-elle, c’est que nous n’avons pas de définition claire ou standardisée de ces formes de contrôles qui posent plusieurs problèmes : la question de l’indépendance de l’auditeur – bien souvent, la dépendance financière de l’auditeur à l’audité, limite la conduite du contrôle à la question « l’algorithme fait-il ce que nous disons qu’il fait ? » en mettant de côté d’autres formes de partialité (des données, de l’équipe de conception) ou de contexte de déploiement ou de maintenance. Cette « approche étroite » explique-t-elle empêche de remettre en question les hypothèses politiques voire idéologiques sous-jacentes. On pourrait depuis des audits valider des algorithmes pour prédire les performances depuis l’analyse des traits et expressions des visages, explique-t-elle en forçant à peine le trait. Contrôler que l’algorithme fonctionne comme prévu selon des normes superficielles ne suffit pas à écarter des usages problématiques voire discriminatoires. Pour contrer ces problèmes, Mona Sloane rappelle des évidences, comme la transparence qu’il faut pousser plus avant pour comprendre les contextes et les fins. Il est également nécessaire d’améliorer la définition de l’audit indépendant et notamment de mieux prendre en compte la question du risque, comme doivent le faire les secteurs du nucléaire, de l’automobile ou de l’alimentaire. Et la chercheuse de défendre une approche « holistique » de l’audit… Enfin, elle appelle à débattre de l’opérationnalité des audits en l’intégrant par exemple aux processus de marchés publics, en améliorant la définition de la contestabilité par les calculés.