Sur Medium, danah boyd de Microsoft Research et du collectif de recherche Data & Society s’interroge sur la place de l’éthique dans les systèmes complexes, notamment ceux de prise de décision distribuée. Elle se prépare d’ailleurs à remettre les conclusions d’un important travail sur les Big Data, l’éthique et la société.

Dans son billet, elle revient sur l’explosion de la navette Challenger en 1986 (Wikipédia) et notamment sur l’ingénieur Bob Ebeling, qui s’est reproché durant 30 ans de n’avoir pas réussi à convaincre ses supérieurs des problèmes techniques qu’il avait détectés. Ebeling avait alerté sa hiérarchie sur les défauts des joints des propulseurs d’appoint et leur réaction au froid. Malgré ses alertes, il n’a pas eu la « puissance organisationnelle » pour arrêter le lancement. Pire, la NASA et ses responsables ont décidé, conscients du risque, que le risque politique de reporter le lancement était plus grand que le risque d’ingénierie… Les conclusions de la Commission d’enquête ont montré combien la culture d’entreprise de la Nasa et les processus de décision avaient été l’un des principaux facteurs ayant conduit à l’accident.

Comme le souligne également l’analyse des processus de décision de Volkswagen qui ont conduit au développement de logiciels tricheurs, cette « normalisation de la déviance » dont parle la sociologue Diane Vaughan, conduit bien souvent à prendre de mauvaises décisions suite à la démultiplication des compromis, explique Jerry Useem dans The Atlantic. Pour danah boyd, il est nécessaire d’introduire la dynamique de pouvoir pour aborder les questions d’éthiques, un peu comme si chaque passager d’un bus recevait un volant pour le conduire. boyd fait également référence au travail d’Hannah Arendt sur la banalité du mal ou de Stanley Milgram sur l’obéissance, qui ont montré combien les gens pouvaient faire des choses inhumaines simplement parce qu’ils étaient invités à le faire.

En fait, estime boyd, nous ne savons pas vraiment comment gérer l’éthique dans les organisations. Sur la question de l’autonomie des véhicules autonomes par exemple, les hommes servent « d’éponges de responsabilité ». Qui est à blâmer quand un système complexe échoue ou dysfonctionne ? En fait, quand les systèmes de calcul sont en cause, la responsabilité est de plus en plus confuse et indéterminée, comme l’a souligné le travail du groupe intelligence et autonomie de Data & Society… En fait la capacité de réflexion ou l’éthique des individus importe peu. L’éthique dans les grands systèmes complexes, influencés par une multitude d’intentions et de motivations, façonnés par des politiques et des logiques organisationnelles et compliquées par des questions de pouvoir et de contrôle demeure complexe… Comme le dit Andrew Fastow, cité dans l’article de The Atlantic, l’un des responsables condamnés d’Enron, un code de conduite ne suffit pas. « Les décisions sont le produit d’une culture. Et la culture est le produit des décisions. »

Hubert Guillaud