Vous vous souvenez certainement du fameux dilemme du tramway, ce cas d’étude de l’éthique, qui consiste à projeter ce que vous feriez si vous pouviez détourner un tramway entre un chemin qui le conduit à écraser une personne et un chemin qui le conduit à en écraser plusieurs. Serait-il moral à l’aiguilleur d’agir et dans quel sens ? Malgré ses limites (le modèle propose souvent des choix simples et binaires qui sont loin de recouvrir une quelconque réalité), le dilemme du tramway, cette fiction, est devenu, pour le MIT, le cas d’étude de la moralité des voitures autonomes. En 2014, des chercheurs du MIT ont créé une plateforme sous forme de jeu avec pour but de collecter l’avis de millions de personnes sur leur réponse à ce dilemme, pour comprendre ce qui est acceptable et ce qui ne l’est pas en matière de règle éthique. Comment les voitures autonomes devraient-elles prioriser leur action face à un accident inévitable ? Le jeu proposé par le MIT proposait plusieurs variations autour du dilemme : une voiture autonome doit-elle sauver les humains plutôt que des animaux ? Ses passagers plutôt que des piétons ? Des femmes plutôt que des hommes ? Des gens âgés ou des jeunes ? Des gens au statut social élevé plutôt que des pauvres ? La voiture devait-elle au final dévier (et agir) ou continuer sa route (et ne pas agir) ?…

Depuis 2014, des millions de personnes provenant de 233 pays ont joué au petit jeu proposé par le MIT. Plus de 40 millions de décisions ont été collectées, faisant de cette étude la plus importante à ce jour sur les préférences morales. Les premières conclusions viennent d’être publiées par Nature (l’article en pdf), rapporte la Technology Review. Celles-ci soulignent combien la question éthique diverge selon la culture, le niveau économique et la localisation géographique ; bien plus que selon des préférences individuelles.

Dans l’article de Nature, les auteurs font part de résultats globaux, qui soulignent par exemple que sur l’ensemble des réponses les gens préfèrent que la machine épargne des poussettes, des enfants, des femmes enceintes ou des médecins… que des animaux ou des criminels, qu’ils préfèrent que le véhicule épargne un groupe de personnes qu’une seule… Mais qu’ils sont moins déterminés quant à préférer que le véhicule ait une action plutôt que pas d’action, qu’il épargne les passagers que des piétons…

Les auteurs font référence aux règles (.pdf) émises par la Commission éthique sur la conduite automatisée publiée par le ministère des transports allemand en 2017. La règle numéro 7 émise par cette autorité énonce sans ambiguïté que, dans les situations de dilemme, la protection de la vie humaine doit avoir la priorité absolue sur la protection de la vie des autres animaux, ce qui semble correspondre aux attentes sociales évaluées par la machine morale du MIT. Par contre, la règle éthique allemande numéro 9, qui explique qu’il n’y doit pas y avoir de distinction fondée sur des caractéristiques personnelles, comme l’âge, semble en contradiction avec les préférences morales exprimées par ceux qui ont joué à la machine morale, qui montre clairement une préférence pour épargner les plus jeunes. Cela ne veut pas dire que les décideurs doivent aller dans le sens du public, soulignent les chercheurs, mais cela pointe le fait que ne pas accepter de faire une préférence pour protéger les plus jeunes rencontrera de fortes réactions et nécessitera de s’expliquer ouvertement, clairement et pédagogiquement auprès du public.

Image : Tableau général des préférences globales des joueurs de la machine morale pour épargner (sparing) certains types de population sur d’autres.

Les chercheurs ont regardé également la question des variations individuelles liées à l’âge, à l’éducation, au sexe, aux revenus, aux opinions politiques et religieuses. Et pointent le fait que ces caractéristiques, contrairement à ce qu’on pourrait attendre, ne semblent pas donner lieu à des différences très fortes en matière de préférences morales.

A un niveau plus global, les chercheurs ont mis à jour ce qu’ils appellent trois grands groupes moraux au niveau mondial : un groupe occidental (comprenant les Etats-Unis et la plupart des pays Européens protestants, orthodoxes et catholiques) qui expriment une préférence pour l’inaction, pour épargner des humains, les groupes plus nombreux et les plus jeunes ; un cluster oriental très large allant de l’Extrême-Orient à l’Arabie saoudite, du confucianisme aux pays islamiques, qui exprime une préférence pour épargner les piétons et ceux qui respectent les règles ; et enfin un groupe méridional qui comprend les pays d’Amérique Centrale et du Sud ainsi que la France métropolitaine et les pays d’ancienne influence française, avec des caractéristiques de réponses morales qui privilégient le fait d’épargner les plus jeunes, les gens avec un statut élevé et les femmes !

Image : les trois grands groupes moraux mondiaux selon leurs préférences morales.

Une autre partie de l’étude, sur laquelle revient plus largement la Technology Review, s’intéresse, elle, aux résultats par pays, selon des facteurs culturels et économiques, qui distinguent des préférences morales différentes selon les cultures individualistes ou collectivistes. Les pays qui ont une tendance individualiste expriment une préférence pour épargner le plus grand nombre de personnes, alors que les pays plus collectivistes manifestent une préférence moins marquée pour épargner les enfants. Pour les chercheurs, ce clivage entre pays individualistes et collectivistes est un obstacle important à une éthique universelle des machines.

Les chercheurs ont constaté que les préférences différaient beaucoup d’un pays à un autre, mais qu’elles étaient également fortement corrélées avec la culture et l’économie. Par exemple, les participants de cultures collectivistes, comme la Chine et le Japon, épargnent moins les jeunes que les plus âgés – peut-être est-ce dû au fort respect des aînés dans ces cultures, avancent les chercheurs.

Image : différentiel des réponses par pays entre ceux qui préfèrent protéger les plus jeunes des plus âgés.

Image : différentiel des réponses par pays entre ceux qui préfèrent protéger les passagers de la voiture autonome par rapport aux piétons.

De même, les participants des pays pauvres dotés d’institutions faibles sont plus tolérants à l’égard des piétons indisciplinés que de ceux qui traversent dans les clous. Et les participants des pays avec un niveau élevé d’inégalités économiques montrent des écarts plus grands entre le traitement des victimes selon leur statut social.

Et, en ce qui concerne la question essentielle du problème du tramway, les chercheurs ont découvert que le nombre de personnes en danger n’était pas toujours un facteur de choix déterminant. Les participants provenants de pays à la culture individualiste, comme le Royaume-Uni, les Etats-Unis ou la France, ont plus tendance à vouloir sauver le plus de vies possibles (en raison peut-être de la grande importance accordée à la valeur de chaque individu) comparativement à des pays plus collectivistes comme le Japon, la Chine ou la Finlande…

Les auteurs de l’étude en pointe néanmoins plusieurs limites. Ceux qui ont répondu à leur enquête en ligne sont un public qui n’est pas sans biais, avertissent-ils : principalement des gens au statut social élevé et connecté. L’étude pointe néanmoins des différences de préférences, qui laissent à penser que les décisions implémentées dans les véhicules pourraient être très différentes d’un pays l’autre. Même dans les groupes culturels qui peuvent paraître proches, il existe parfois des différences d’appréciations fortes : les Japonais ont plutôt tendance à préférer des véhicules qui épargnent les piétons alors que d’autres cultures, comme la culture chinoise, préfèrent des véhicules qui épargnent les passagers par exemple.

Pour autant, ces résultats ne peuvent être pris au pied de la lettre, estime l’un des auteurs de l’étude, Edmond Awad (@EdmondAwad). Si l’étude permet d’éclairer les réactions du public, elle ne donne pas de solutions de conception ni de politique. Pour Awad, ces résultats montrent que la discussion sur l’éthique doit continuer : qu’il faut aussi analyser les risques et comprendre d’où viennent nos biais éthiques… Pour Edmond Awad, le principal enseignement de l’étude consiste à démontrer que l’éthique des machines n’est pas si simple et que montrer leurs conséquences sur des personnes permet de prendre conscience qu’il n’y aura pas une seule et unique réponse aux problèmes qui sont devant nous.

Dans les conclusions de leur étude, les chercheurs rappellent que jamais jusqu’à présent nous n’avons laissé une machine décider de manière autonome qui devait vivre ou mourir. « Le risque, demain, est que nous franchissions cette barrière morale, non pas tant sur des théâtres d’opérations militaires lointains, mais dans les aspects le plus banals de nos vies, le transport quotidien ». Pour les chercheurs, malgré les limites de leur enquête (notamment le fait que leurs échantillons de répondants ne représentent qu’une certaine partie des publics qui ne reflète pas les données sociodémographiques de chaque pays), il est nécessaire d’établir une discussion entre les préférences individuelles et sociétales, celles des entreprises qui concevront ces machines et les réglementations des décideurs politiques qui les réglementeront.

Au final, pointent-ils, le petit jeu du MIT a mis en avant 3 préférences morales fortes : la préférence pour épargner des vies humaines, la préférence pour épargner plus de vies et la préférence pour épargner les plus jeunes. Reste, soulignent avec modestie les chercheurs : « le fait que nos échantillons ne sont pas nécessairement représentatifs signifie que les décideurs ne doivent pas considérer nos données comme le dernier mot sur les préférences de la société » en matière de morale appliquée à la conduite autonome. Ils soulignent également combien les scénarios proposés demeurent simplistes : il n’y a pas d’incertitude dans ces scénarios quant à la classification des personnes, alors qu’il est difficile de dire, concrètement, pour une machine, si elle a affaire à un enfant ou à une personne âgée par exemple. De même le choix binaire, de vie ou de mort, demeure bien souvent simpliste. Ils soulignent enfin que mêmes les préférences morales les plus fortes exprimées par les répondants connaissent des variations culturelles, mais que trouver des consensus est peut-être possible.

Reste bien sûr qu’un consensus moral ne dépend pas que de préférences exprimées par les individus, mais également de valeurs que la société peut porter. Le fait que nous préférions privilégier la vie des plus jeunes ne signifie pas pour autant que la société devrait accepter la distinction fondée sur des caractéristiques personnelles. Bref, ni la somme de préférences individuelles, ni la machine morale ne vont nous abstraire de nos responsabilités à venir !

MAJ : En mars dernier, Ian Bogost, pour The Atlantic, a signé une très stimulante tribune sur les limites du dilemme du tramway. Pour lui, cette approche conduit, par la façon même dont sont posés les dilemmes, à des conclusions forcément incomplètes et dangereuses sur l’éthique. Pour la philosophe Philippa Foot, qui abordait la question des dilemme dans le cas d’avortements (.pdf), il y a une différence entre ce que l’on fait et ce que l’on permet. Pour Bogost, la mentalité utilitaire est intrinsèquement enracinée dans la rhétorique des voitures autonomes, dont l’enjeu est bien, par nature, de pallier aux déficiences des humains qui sont le principal facteur d’accidents de la route. Le dilemme du tramway se focalise sur les résultats, au risque de nous rendre aveugles aux autres conséquences du déploiement des voitures autonomes. Bogost rappelle que, par exemple, dans le cas d’Elaine Hertzberg, tuée par une voiture autonome, lui appliquer le problème du tramway suppose que le véhicule ne se soit pas trompée dans l’identification de ce qui déboulait sous ses roues. Cela suppose que l’identification soit fiable et garantie, mécanique. Mais cela n’est absolument pas le cas. Les dilemmes du tramway proposent des choix simples et binaires, qui n’existent jamais, permettant d’identifier précisément les gens, de faire des options simples et radicales… Dans le dilemme du tramway, nous devons choisir entre deux dommages, alors que dans le cas de la voiture Uber qui a tué Elaine Hertzberg, personne n’a fait de choix simple, ni la société qui fabrique la voiture, ni la conductrice, ni le gouvernement qui réglemente le transport autonome. Dans le cas de voitures autonomes, l’action volontaire semble bien souvent impossible à déterminer. « L’éthique ne consiste pas à appliquer un calcul simple à une situation donnée, ni à appliquer un ensemble agrégé d’opinions humaines sur un cas modèle à des instances apparentes de ce modèle. » Pour Bogost, le dilemme du tramway nous fait croire que les voitures autonomes sont déjà là, avec une technologie fiable, homogène… tant et si bien que leur comportement moral hypothétique pourrait être circonscrit et résolu. Nous en sommes très très très loin !

MAJ : Julian de Frietas et George Alvarez, professeur de psychologie à l’université de Harvard et Sam Anthony, directeur technique d’Automata, une entreprise qui développe des logiciels de perception pour les véhicules autonomes viennent de publier une tribune en réponse à l’étude sur la relativité de l’éthique produite depuis le jeu du dilemme du tramway mis en place par le MIT, détaille Robotics Business Review. Pour eux, la proposition d’utiliser la simplification conceptuelle que propose ce jeu n’est pas un outil pertinent pour produire des règles morales pour les véhicules autonomes. Ils soulignent d’ailleurs que dans l’étude originale, les gens qui ont joué au jeu du MIT ne sont pas eux-mêmes convaincus de la pertinence du jeu pour aider à programmer les machines. Cela montre que pour les gens, la réduction de choix moraux à des dilemmes simples n’est pas satisfaisantes, car elle ne rend pas suffisamment compte de la complexité de la réalité. Pour Sam Anthony, le grand enjeu des décisions des véhicules autonomes est qu’ils puissent expliquer leurs actions et que leurs décisions soient transparentes et auditables. Le dilemme du tramway n’aide pas constructeurs à construire des machines plus sûres ! Les voitures autonomes ont pour but d’éviter les accidents, quels qu’ils soient… et très souvent, ceux-ci sont bien plus simples que d’éviter une personne plutôt qu’une autre.