Rachel Coldicutt (@rachelcoldicutt) directrice de DotEveryOne (@doteveryoneuk), le think tank britannique qui promeut une technologie plus responsable, plus équitable, plus inclusive et plus démocratique, dans une tribune pour Medium s’énerve après la mode de l’éthique qui traverse actuellement le monde des technologies.

« S’assurer que plus d’informaticiens aient une compréhension rudimentaire de la prise de décision éthique élargira certainement leurs horizons en tant qu’individus, mais cela ne suffira pas pour transformer la façon dont la technologie est fabriquée ou dont elle affecte la société. Une proposition plus radicale consiste à former les diplômés des arts et des sciences sociales à la conception de produits et d’expériences, de manière à ce que ceux qui font passer les gens au premier plan aient les compétences nécessaires pour façonner la technologie de manière plus responsable. »

Former les informaticiens à l’éthique, comme on l’entend de plus en plus, est important, reconnaît la spécialiste, mais ce n’est pas la solution miracle qui transformera l’industrie des technologies. Pour elle, un changement plus transformateur, serait de modifier « qui prend les décisions et comment elles sont prises », dans les conseils d’administration comme dans les équipes produits. L’éthique est un sport d’équipe. Elle n’est pas seulement une liste de contrôle ! Pour y parvenir, le processus décisionnel doit s’ouvrir à des décisions distribuées et à l’expertise en sciences sociales, avance Rachel Coldicutt. Les ingénieurs et informaticiens, comme ceux qui prennent les décisions, doivent apprendre à travailler dans des environnements qui encouragent la confiance et le respect d’opinions non techniques. « Savoir ce qu’il faut faire de la technologie doit devenir une compétence aussi précieuse que de savoir comment la construire ».

Dans son dernier livre Misbehaving (Seuil, 2018), Richard Thaler, le prix Nobel de l’économie comportementale, explique que la plupart des modèles économiques ne fonctionnent pas dans le monde réel, car ils remplacent l’homo sapiens par l’homo economicus… c’est-à-dire qu’ils construisent des modèles en pensant l’homme rationnel alors qu’il ne l’est pas tant que cela. « Il en va de même en informatique où l’on s’attend souvent à ce que les êtres humains se comportent de manière explicite et prévisible – que ce soit en utilisant uniquement un logiciel pour les buts pour lesquels il a été créé, ou en se conformant aux biais ou aux stéréotypes cachés dans les données. »

En ingénierie informatique, les considérations éthiques viennent souvent à la fin. Trop souvent, l’éthique est une réflexion après coup, qui n’influe pas réellement sur les priorités. Pour Rachel Coldicutt, la technologie n’a aucune chance de s’adapter à l’humanité, si elle n’intègre pas plus profondément les apports des sciences sociales. La formidable machine à produire de l’inégalité que sont les systèmes techniques a besoin, pour être résolue, d’intégrer un débat bien plus multidisciplinaire dès la conception et dans la production même de ces technologies.

Une première étape pour y parvenir serait de changer et de remettre en question nos hypothèses sur les solutions. Croire que produire des solutions par la technologie est suffisant, ne suffira pas. Apprendre à faire face n’est qu’une tactique de survie. La pensée critique et l’imagination font partie des compétences humaines les plus précieuses et peuvent être enseignées beaucoup plus efficacement qu’elles ne peuvent être automatisées. Plutôt que d’introduire un peu de sciences sociales dans les sciences dures, il est peut-être temps d’introduire les sciences dures dans les sciences sociales. Faire travailler les acteurs de la technologie avec ceux au fait des subtilités du social.

C’est visiblement l’un des enjeux du programme pour développer des technologies responsables que lance le think tank britannique pour 2019, qui commence dès janvier par un premier événement pour aider au déploiement de méthodes pour que la responsabilité de l’industrie des technologies devienne la nouvelle norme !

Un propos qui fait écho, notamment, à celui que tenaient David Banks (@da_banks) dans l’insolent The Baffler. Banks soulignait combien le monde de l’ingénierie est lié à l’autoritarisme. La raison est certainement à chercher du côté de l’histoire. Les premiers ingénieurs étaient d’origine militaire et concevaient des armes de siège, rappelle-t-il rapidement. Ils sont d’ailleurs toujours formés pour « se brancher sur les structures décisionnelles de la chaîne de commandement ». Contrairement aux médecins ou aux avocats, les ingénieurs n’ont pas d’autorités éthiques qui les surveillent ou de serment à respecter. « C’est pourquoi les ingénieurs excellent dans l’externalisation des reproches » : si cela ne marche pas, la faute incombe à tous les autres : utilisateurs, managers… « On leur enseigne dès le début que la chose la plus morale qu’ils puissent faire est de construire ce qu’on leur dit de construire au mieux de leurs capacités, afin que la volonté de l’utilisateur soit réalisée avec précision et fidélité. »

Pour David Banks, le dévouement des ingénieurs de la Silicon Valley est enragé. La technologie ne cesse de commander nos vies et nous inflige des modes de contrôle toujours plus stricts et autoritaires. « L’ingénieur apporte à de l’ordre à l’entropie » : il « limite l’autonomie individuelle au profit de la performance des systèmes ». Par nature, la forme radicale et autoritaire du contrôle sociétal qu’imposent les technologies limite la liberté. Celle-ci consiste seulement à choisir sa cellule de prison, son application de covoiturage, son smartphone ou sa couverture de soins de santé… En fait, tout l’enjeu du développement technique semble de limiter toujours plus le choix, l’alternative. Pour David Banks, bien des gens critiques de la technologie fourbissent une opposition fantoche, puisque tout semble fait pour que vous n’ayez qu’un choix limité, voire qu’un choix d’options toujours plus limité…

Si les jeunes qui embrassent la profession d’ingénieur sont souvent motivés par un désir sincère d’aider son prochain, ce n’est pas sans ambiguïtés. Dans leur livre Ingénieurs du Jihad (2016, Princeton University Press, non traduit), Diego Gambetta et Steffen Hertog revenaient sur l’histoire autoritaire de cette profession, pointant le fait que les ingénieurs étaient nombreux dans les groupes radicaux. Ils soulignaient également la proximité entre les partisans de l’autorité et les ingénieurs, les deux partageant une même aversion pour les idées, sans que le livre des deux chercheurs ne tranche pour savoir si c’est l’ingénierie qui attire les partisans de l’autorité ou l’inverse. Au final, Banks comme Coldicutt regrettent que les disciplines critiques de l’ingénierie, et notamment les sciences humaines, aient été laissées à la porte des formations d’ingénieurs.

Dans une réponse aux critiques que son article a suscitées, David Banks précise que nombre de secteurs de l’ingénierie ne font guère de référence à l’éthique. Contrairement aux avocats ou aux médecins, les ingénieurs ont peu d’institutions professionnelles garantes de leur éthique. Le problème n’est pas que les ingénieurs n’aient pas d’éthique, mais que celle-ci reste éminemment personnelle. Comme le pointe la sociologue de l’ingénierie Diane Vaughan (cf. De l’éthique des systèmes… à celle des organisations), qui a développé le concept de « normalisation de la déviance », les catastrophes proviennent d’abord de facteurs organisationnels. « La normalisation sociale de la déviance signifie que les membres d’une organisation s’habituent tellement à un comportement déviant qu’ils ne le considèrent pas comme déviant, alors qu’il dépasse de loin leurs propres règles de sécurité élémentaire », expliquait-elle dans une interview de 2008. Bien souvent, les catastrophes sont causées par une petite erreur de jugement, amplifiée par une suite de décisions et d’actions en cascades qui ne remettent jamais en cause l’hypothèse initiale erronée. La normalisation de la déviance est un phénomène social qui rend les équipes incapables de voir leur erreur une fois qu’elle a été acceptée. Pour répondre à cette « désensibilisation », estime Chris Gervais (@cgervais), l’important est de développer une culture de remise en question des ordres donnés et des consensus.

Sur Medium, le philosophe Evan Selinger (@EvanSelinger), auteur de Re-Engineering Humanity (2018, Cambridge University Press, non traduit) posait le même type de question, en cherchant à comprendre pourquoi les entreprises de technologie ne semblaient pas prendre l’éthique au sérieux. Comme le montrait les réponses de Mark Zuckerberg au Sénat américain, Facebook, à l’image des grands de la tech, « surévalue systématiquement l’IA, l’ingénierie et l’automatisation comme réponse à ses difficultés, et dévalue la conformité, l’expertise légale et l’éthique ». Les excuses et les promesses de changement sont certainement de bonnes stratégies de gestion de crise, mais seront insuffisantes à terme. Pour Selinger, « si les entreprises veulent vraiment faire mieux, elles doivent avant tout reconnaître qu’il est temps de faire une révolution éthique en matière de conception ». Et le philosophe de regretter à son tour le manque de formation à la responsabilité dans les écoles d’ingénieurs… et plus encore le manque de passerelles entre les sciences sociales et les sciences de l’ingénieur.

Assurément, pour être plus responsables, non seulement les technologies ont besoin d’être plus démocratiques mais aussi d’être plus multidisciplinaires qu’elles ne le sont.

Hubert Guillaud