Sur son blog, le professeur de marketing Christophe Bénavent (@benavent) revient sur la notion de gouvernementalité algorithmique, c’est-à-dire la mesure des effets inattendus voir indésirables du fonctionnement des algorithmes. Ou, comme le définissait les chercheurs Antoinette Rouvroy et le philosophe Thomas Berns, le fait que les systèmes techniques, notamment logiciels, en viennent à structurer le champ d’action possible des individus (voir l’entretien et les articles que nous avions consacrés à une intervention d’Antoinette Rouvroy et de Thomas Berns).

Un algorithme juste est celui qui rend compte de ses effets

“Un bon exemple de ce type d’effet, que l’on désigne par la notion de performativité algorithmique, est donné par l’étude (.pdf) de Edelman et Lucas (2015) sur les prix de AirBnB à New York, ils observent qu’une différence de 22$ existe entre les logements proposés par les blancs et les noirs. Ceci résulte principalement d’un mécanisme de réputation : l’exposition de la photo de l’hôte et produit un effet discriminatoire qui tout à la fois reflète et augmente la ségrégation spatiale et raciale.”

Pour palier ces effets, on parle de plus en plus de responsabilité (accountability) algorithmique – voir également nos articles « Surveiller les algorithmes » et “Ouvrir les modèles !”. Pour Christophe Bénavent, un algorithme juste est un algorithme qui doit savoir rendre compte de ses effets :

“Si les algorithmes transmettent insidieusement une politique explicite ou implicite, souhaitée ou induite, il devient nécessaire qu’ils doivent rendre compte des effets de leurs actions. (…) Une exigence politique croissante est que donc les plateformes doivent rendre compte des méthodes qu’elles emploient et de leurs effets sur la société sans plus se cacher derrière la notion de confidentialité des procédés.”

Le chercheur évoque un article (.pdf) de recherche de Cynthia Dwork de Microsoft sur l’équité algorithmique qui s’intéresse à formaliser le caractère “juste” d’un algorithme. Et le spécialiste du marketing de prendre l’exemple d’un algorithme de scoring qui sert à attribuer un crédit à la consommation. La probabilité que l’algorithme calcule va dépendre de nombreux paramètres liés aux informations sur la personne qui demande un prêt rapporté aux paramètres du modèle calculé au préalable sur une grande population et le plus souvent vérifié sur une autre. Le calcul donne un résultat qu’on compare à un seuil qui décide si on prête ou non de l’argent au demandeur.

“Le problème est qu’un tel algorithme n’est pas forcément juste. On connait le problème classique des faux positifs. Quelqu’un dont on a mesuré les chances de ne pas rembourser peut être parfaitement fiable, et inversement celui à qui on prête peut défaillir. (…) Du point de vue des individus, ceux qui seraient en droit d’obtenir le prêt ne l’auront pas, et d’autres obtiendront un prêt qu’ils ne méritent pas.”

“On pourrait parfaitement exiger de ceux qui emploient de tels algorithmes, sans donner les paramètres pris en compte qui sont un secret de fabrication, au moins de rendre compte de la précision de leur algorithme.”

Pour le dire autrement, l’enjeu n’est pas tant que les entreprises nous donnent les critères qui font varier leurs calculs que le niveau de précision que celui-ci produit. Or, estime le professeur en marketing, il y a fort à parier que la plupart des modèles prédiraient assez mal les résultats, ou d’une manière assez peu précise – voir par exemple ce que nous expliquions des résultats de Predpol.

Image : illustration des limites des boîtes noires algorithmiques par Keek.be.

L’apprentissage automatique est-il la solution pour améliorer l’équité des machines ?

L’article de Cynthia Dwork évoque un autre critère d’appréciation : celui de justice. “Un algorithme sera juste si la distance entre deux individus (tels qu’on la mesure au travers des caractéristiques X) est plus grande que la distance entre les scores calculés à partir de ces profils.” Reste, que quand bien même nous pourrions introduire dans ces systèmes des approches mesurant la précision ou “l’équité”, cela nécessite de détenir des données très sensibles, expliquait Cynthia Dwork dans une interview parue cet été dans le New York Times. Selon elle, l’équité signifie que les gens soient traités de manière similaire, ce qui nécessite de bien connaître les caractéristiques sensibles des données qui affectent les algorithmes.

L’un des enjeux d’amélioration repose là encore sur les techniques d’apprentissage automatique (machine learning) permettant aux algorithmes d’apprendre de leurs erreurs. Pour elle, ceux qui apprennent à concevoir des algorithmes doivent être conscients des jugements de valeur qui biaisent leurs créations. « La conception d’un algorithme pour rendre la publicité ciblée neutre est plus compliquée que de simplement veiller à ce que le sexe du public cible soit ignoré », explique-t-elle en faisant référence à une étude (.pdf) de l’université Carnegie Mellon montrant qu’une publicité pour un coaching de carrière pour « super cadres » était bien plus adressé à des hommes qu’à des femmes.

Pourtant, la réponse de Cynthia Dwork semble ambiguë. Quand on lui demande qui doit s’assurer que les algorithmes ou les logiciels ne soient pas discriminatoires, la chercheuse estime qu’il y a besoin d’éthicien, alors que son travail consiste à tenter de trouver une base mathématique à l’équité et à développer des méthodes de calcul (des algorithmes) qui garantissent l’équité. Or, comme le rappelle Claire Cain Miller, la journaliste du New York Times dans un article qui accompagnait l’interview, si le ciblage des annonces est légal, la discrimination sur le genre ne l’est pas. Reste à savoir si dans cet exemple, l’annonceur a demandé à ce que ses annonces soient plus montrées à des hommes qu’à des femmes ou si l’algorithme a déterminé que les hommes étaient plus enclins à cliquer sur cette annonce. Or, pour l’un des chercheurs de Carnegie Mellon, ce type de ciblage risque surtout de perpétuer les écarts de rémunération entre sexes. Claire Miller rappelle que si les humains ne peuvent superviser les décisions algorithmiques, les entreprises peuvent lancer des simulations pour tester leurs résultats mieux qu’elles ne le font actuellement. Mais déterminer quels types de préjugés nous ne souhaitons pas tolérer est le résultat de décisions politiques et nécessite beaucoup de travail sur les systèmes techniques mis en place, estime la spécialiste de ces questions Deidre Mulligan de l’École d’information de Berkeley. Difficile quand on sait que l’innovation technologique s’accompagne assez peu de questions sociétales et éthiques…

En attendant l’arrivée des algorithmes de l’éthique, pour Christophe Bénavent : “Les choses sont donc claires : ne comptons pas sur les machines pour réduire les problèmes sociaux. La responsabilité de ce que font les machines appartient entièrement aux humains, à leurs concepteurs et à leurs propriétaires. Plutôt que d’interdire, ou d’autoriser, la première étape de la régulation du monde des machines est d’imposer socialement l’exigence de responsabilité. Si les machines ne sont pas neutres, si elles induisent des biais politiques, elles ont toutes les chances d’être injustes… Alors autant que l’on connaisse la manière dont elles affectent l’ordre social.”

Hubert Guillaud