Nicholas Diakopoulos (@ndiakopoulos), de l’université du Maryland et Sorelle Friedler (@khphd), de l’Institut de recherche Data & Society, viennent de publier dans la Technology Review, une synthèse de leurs recherches établissant 5 principes pour rendre les algorithmes responsables.

A savoir :

• La responsabilité : « Pour tout système algorithmique, il doit y avoir une personne ayant le pouvoir de faire face à ses effets indésirables individuels ou sociétaux en temps opportun. Il ne s’agit pas d’une simple déclaration de responsabilité juridique, mais plutôt de mettre l’accent sur les voies de recours, le dialogue public et l’autorité interne de recours. Cela pourrait être aussi simple que de donner à quelqu’un de votre équipe technique le pouvoir interne et les ressources nécessaires pour changer le système, en s’assurant que les coordonnées de cette personne soient accessibles au public. »
• L’explicabilité : « Toute décision produite par un système algorithmique devrait être expliquée aux personnes concernées par ces décisions ». Ces explications doivent être accessibles et compréhensibles pour le public cible et pas purement techniques. Elles doivent favoriser une meilleure compréhension et aider les utilisateurs à contester des erreurs apparentes ou des données erronées.
• L’exactitude : Les algorithmes font des erreurs, que ce soit en raison des erreurs de données en entrée ou en raison des incertitudes statistiques en sorties. Le principe d’exactitude suggère que les sources d’erreur et d’incertitude doivent être identifiées, consignées et comparées, car comprendre la nature des erreurs produites par un système algorithmique peut éclairer les procédures d’atténuation.
• L’auditabilité : Le principe d’auditabilité stipule que des algorithmes doivent être développés pour permettre à des tiers de sonder et de revoir le comportement d’un algorithme. L’enjeu ici est de conduire à une conception plus consciente des correctifs à apporter. Du fait de la difficulté de remplir des conditions de transparence, les auteurs suggèrent un développement de formes d’audit privés qui pourraient fournir une forme d’assurance publique, comme le font les cabinets d’expertise comptable ou de certification des comptes pour la comptabilité.
• La justiciabilité : Pour éviter les biais des décisions automatisées, les algorithmes qui prennent des décisions au sujet des individus doivent être évalués pour mesurer leurs effets discriminatoires. Les résultats et critères de ces évaluations devant être expliqués et rendus publics à leur tour.

Pour les deux chercheurs, ces principes simples permettent à chacun de les adapter et les interpréter à son contexte. Ces règles devraient également permettre un déploiement plus responsable des décisions automatiques dans la société. Dans un document additionnel, ils proposent aux développeurs de respecter « une déclaration d’impact social » leur permettant de documenter très concrètement une réponse à chacun de ces différents enjeux.

MAJ : dans une tribune pour Data & Society, danah boyd rappelle que la transparence ne signifie pas la responsabilité. « Je crois que la transparence algorithmique crée un faux espoir. Non seulement elle est techniquement insoutenable, mais elle obscurcit les politiques réelles qui sont en jeu. » Ouvrir le code ne suffit pas à ce que tout le monde l’inspecte ni ne permet qu’il rende des compte. Et la chercheuse d’illustrer cela en regardant comment, même dans le monde du libre, des failles majeures prennent parfois des années à être repérées. Ensuite, souligne-t-elle : la transparence algorithmique ne mène nulle part sans les données : l’algorithme du newsfeed de Facebook n’a aucun sens sans données et ce d’autant que la personnalisation consiste à comparer vos données à celles des autres. La transparence pour la transparence n’est pas un objectif soutenable, explique la chercheuse. On a besoin de la responsabilité (accountability), c’est-à-dire que les systèmes rendent des comptes. Comment les décisions sont prises ? Sur quels critères ? « Est-il plus juste de donner à chacun des chances égales ou de lutter contre l’iniquité ? Est-il préférable pour tout le monde d’avoir accès au contenu partagé par leurs amis ou doit haine discours être censuré ? » Qui décide ?

Et la chercheuse de pointer les travaux d’informaticiens qui ont réagi aux biais d’algorithmes d’embauches. Qui ont agi pour que les données d’entraînement du système ne puisse plus prendre en compte la race ou le sexe, en s’appuyant sur le droit qui définit l’égalité des chances en matière d’emploi et en protégeant ces données du calcul. Et la chercheuse de pointer les limites des logiciels de planification d’horaire dans les entreprises qui génèrent du fait des valeurs prises en compte, des horaires de travail très fragmentés pour ceux qui y sont soumis. Il est temps d’articuler notre justice sociale à nos valeurs. « Nous croyons en la justice, mais nous ne savons pas la définir. Nous croyons en l’équité, mais pas si certaines personnes souffrent. Nous croyons en la justice, mais nous acceptons des processus contraire. Nous croyons en la démocratie, mais notre mise en oeuvre de celle-ci est viciée. » Les informaticiens ont besoin de clarté pour concevoir leurs algorithmes. Si nous voulons une meilleure responsabilité, alors il va falloir mieux préciser ce qu’elle implique.

Reste que c’est plus facile à dire qu’à faire. Pas sûr que l’équité, la justice ou la démocratie soient des processus « domptables ». Il n’y a pas de recettes. Ce sont des espaces de contestation, de discussion, qui par nature nécessitent une médiation. Ce ne sont pas des systèmes « trustless »… Peut-on distribuer le consensus quand il n’y en a pas ? Peut-on encore croire que les réponses techniques sont capables de proposer toutes les réponses ?