Dans le cas de la mort de Elaine Herzberg par une voiture autonome d’Uber en mars 2019 (cf. « De l’imbrication algorithmique »), pour l’instant, c’est la conductrice, celle qui était chargée de surveiller la bonne marche de la voiture, qui est poursuivie par la justice… Pas Uber, ni l’État d’Arizona qui ont permis que des essais soient réalisés, explique l’anthropologue Madeleine Clare Elish (@m_c_elish), chercheuse à Data & Society (@datasociety) et responsable du département AI on the ground, dans une excellente publication du Centre pour la gouvernance internationale de l’innovation (@cigionline). C’est « l’humain dans la boucle » plus que la surestimation de l’automatisation qui se retrouve sur le banc des accusés !

Dans l’aviation, c’est toujours le pilote qui est mis en cause plus que le pilotage automatique. La conception de la responsabilité juridique n’a pas suivi le rythme du progrès technologique : « alors que le contrôle du vol se déplace de plus en plus vers des systèmes automatisés, la responsabilité du vol reste concentrée sur la figure du pilote », explique la chercheuse qui a fait une analyse historique de la responsabilité des accidents dans le secteur de l’aviation. « Alors que les systèmes automatisés sont de plus en plus utilisés, les opérateurs humains les plus proches sont blâmés pour les accidents et les lacunes d’une technologie prétendue « infaillible » ». Le décalage, entre les attributions de responsabilité et la manière dont le contrôle du système est réparti dans un système complexe entre de multiples acteurs, est patent, assène la chercheuse (l’anthropologue Stefana Broadbent dressait déjà le même constat en 2010 quand elle analysait un accident de train en Californie).

La « zone de déformation morale »

Ce décalage de responsabilité, Madeleine Clare Elish l’appelle la « zone de déformation morale ». « Tout comme la zone de déformation d’une voiture est conçue pour absorber la force de l’impact lors d’un accident, l’homme dans un système automatisé et complexe peut devenir simplement un composant – accidentellement ou intentionnellement – qui porte le poids des responsabilités morales et légales lorsque le système global fonctionne mal ». Le concept permet d’attirer l’attention sur la façon dont la responsabilité est incorrectement attribuée à un opérateur humain dont le contrôle réel est limité, et qui devient le maillon faible d’une chaîne de responsabilité. Mais contrairement à la zone de déformation d’une voiture, qui est faite pour protéger le conducteur humain, la zone de déformation morale inverse cette dynamique, permettant à notre perception d’une technologie sans faille de rester intacte aux dépens de l’opérateur humain. Le mythe de l’autonomie de la machine qu’évoquait le spécialiste de l’histoire des techniques, David A. Mindell (@davidmindell) et l’idéologie de l’automatisation qui tient surtout de l’automatisation washing qu’évoquait la documentariste et activiste Astra Taylor (@astradisastra) dans Logic, restent sauf ! Madeleine Clare Elish explique que ces zones de déformation morale se retrouvent dans d’autres accidents technologiques, comme l’accident de la centrale nucléaire de Three Mile Island en 1979 ou celui de l’Airbus d’Air France en 2009, et ce alors que par exemple, la salle de contrôle de la centrale américaine n’affichait pas toutes les conditions physiques du système.

Nous sommes là face à ce que la psychologue britannique Lisanne Bainbridge appelait, dès 1983, « l’ironie de l’automatisation » (.pdf) : dans la pratique, l’automatisation n’élimine pas l’erreur humaine, mais crée des opportunités pour de nouveaux types d’erreurs. Comme le pointait également le sociologue Charles Perrow dans son livre, Normal Accidents (1999, Princeton Press), les précautions habituelles comme les avertissements et les garanties, ajoutent surtout de la complexité ce qui contribue à créer de nouvelles catégories d’accidents.

Le point commun de ces accidents souligne pourtant que l’homme dans la boucle n’a pas de contrôle significatif et est structurellement désavantagé pour prendre des mesures adaptées et efficaces. Dans le cas, très commenté, de l’accident de la voiture autonome, les commentaires sont pourtant vite passés sur la question de la sécurité des voitures autonomes à celle d’une accusation de la conductrice, accusée de consulter son téléphone juste avant l’accident. Alors que l’enquête du bureau national américain de la sécurité des transports a révélé les lacunes logicielles, organisationnelles et matérielles d’Uber, tout comme le problème tenace de transfert, qui fait référence à la difficulté de transférer rapidement et en toute sécurité le contrôle d’un système d’une machine à un homme.

Pour Madeleine Clare Elish, l’humain dans la boucle est en passe de devenir un moyen commode pour détourner la responsabilité, plutôt qu’un moyen pour les humains de garder le contrôle. Pour la chercheuse, à l’heure où nous envisageons un avenir de plus en plus dirigé par les machines, nous devons réfléchir à comment faire changer la perception sociale de la technologie. Le recours à une surveillance et un contrôle humain dans les systèmes ne suffira peut-être pas à mettre à jour la réalité des responsabilités… Pour elle, le concept de déformation ou de fracture morale permet de souligner le biais juridique et éthique de la conception des systèmes, alors que la conception, la surveillance, l’entretien et la réparation des systèmes est assurée par une vaste classe d’ingénieurs et de « tâcherons invisibilisés », chers au sociologue Antonio Casilli (@AntonioCasilli). Pour la chercheuse, les réponses politiques et réglementaires doivent éclaircir les points de collaboration et de transferts entre humains et systèmes, non pas comme des points de faiblesse, mais plutôt comme des coutures à exposer plutôt qu’à cacher.

Hubert Guillaud