Avec le numérique, nous avons plongé dans une forme d’addiction algorithmique, explique le chercheur et designer italien, Stefano Diana (@incalcolabili, blog en italien), auteur du livre Nous sommes incalculables (Stampa Alternativa, 2016, non traduit) dans un long essai publié en anglais en mars 2019 pour l’Institut des cultures en réseau (@INCAmsterdam) : « Sur les barricades de l’incalculable : contre l’addiction algorithmique ».

Les unités de mesure imprécises, dans un monde centré sur le calcul, sont certainement en train de disparaître, avance le designer. Nous avons basculé d’un monde de l’approximation à l’univers de la précision. Pourtant, rappelle-t-il, l’approximation est un univers riche, flou peut-être, mais nuancé, qui s’adapte à l’incertitude de la vie elle-même. Le nombre, au contraire, relève d’un langage exact, artificiel, qui vise à éliminer toute interprétation et toute ambiguïté. À mesure que nous sommes montés dans l’échelle de la complexité, les mesures l’ont emporté, au détriment de leur pertinence (voir également De la tyrannie des métriques« ). Pourtant, comme le soulignait l’historien britannique des mathématiques Giorgio Israel, auteur notamment de La mathématisation du réel, essai sur la modélisation mathématique (Seuil, 1996) : « lorsqu’il s’agit de systèmes complexes, la bonne langue est l’anglais, pas les mathématiques ». Il soulignait par là que face à la complexité, les chiffres relèvent surtout leurs limites. Pourtant, rappelle Diana, les nombres sont au cœur de la complexité et notamment au cœur des systèmes techniques numériques qui sont eux-mêmes au sommet de l’échelle de la complexité. Et ce malgré les limites mêmes des mathématiques. Comme le rappelait le mathématicien Bertrand Russell : « la physique est mathématique non pas parce que nous en savons tant sur le monde physique, mais parce que nous en savons si peu : ce sont seulement ses propriétés mathématiques que nous pouvons découvrir ». Les propos de Russell mettent en lumière un fait souvent omis : les mathématiques sont limitées, et les connaissances qui en font usage ont les mêmes limites. Malheureusement, malgré leurs limites, une foule enthousiaste de spécialistes tentent d’appliquer les mathématiques à tout, partout, de manière souvent triviale et dans des domaines souvent inadaptés (voir par exemple « Peut-on modéliser la société ? »).

Pour Stefano Diana, cet abus de maths dans le domaine social notamment s’explique d’abord parce que les maths sont un anxiolytique. Le passage au mathématique éclaire et ordonne. « Faire des maths, c’est comme faire une pause dans un univers parallèle où tout est transparent ». La quête de modèles mathématiques pour le monde tient d’un baume, pareil au soulagement qu’on éprouve devant l’Homme de Vitruve de Léonard, parfaitement inscrit dans un cercle et dans un carré. Une forme d’extase devant un ordre parfait !

Cet abus de math est également motivé par le fait que les mathématiques permettent de simplifier les subtilités. Réduire la complexité est finalement assez commode : « les mathématiques et la logique nous rendent aveugles à nous-mêmes, dans la mesure où la théorie ne donne de la visibilité et de l’attention qu’aux aspects quantifiables et calculables de notre réalité ». La représentation mathématique diminue notre compréhension des humains et même les statistiques, qui permettent d’obtenir des perspectives intéressantes sur les phénomènes sociaux, échouent dramatiquement à rendre cas des individus.

Enfin, les mathématiques donnent du pouvoir, notamment parce qu’ils véhiculent le « rêve d’une vérité absolue, éternelle, libérée de la subjectivité humaine, de la relativité, des affects, des limites, des contradictions ». Elles ont toujours été considérées comme transcendantes, comme si elles permettaient d’atteindre finalement une objectivité totale, démiurgique !

Le risque d’une abstraction hypertrophiée

« La quête obsessionnelle d’un langage parfait et objectif, qui transforme tout raisonnement sur le monde en un calcul sûr et précis, traverse toute l’histoire de la pensée occidentale. L’abstraction est la clé de voûte de cette quête et de sa culture. » Elle consiste à pouvoir condenser des instances en symboles ou concepts. C’est un levier puissant, reconnaît Diana, mais désormais hypertrophié. L’abstraction est devenue le principal trouble de la connaissance de notre époque. Chaque abstraction nous éloigne un peu plus de la réalité. Elles produisent des définitions arbitraires et pseudo-exactes de tout. Comme Marx l’a noté à propos de l’argent, l’abstraction introduite par l’intermédiation des nombres et des codes, engendre son lot de conséquences sociales négatives, notamment en abolissant la conscience des risques et des limites. On l’a vu dans le monde de la finance lors de la crise de 2008 notamment, quand les banques ont appris à multiplier indéfiniment le crédit au moyen de dérivés à plusieurs niveaux provenant d’autres titres eux-mêmes constitués d’autres dérivés de différents types et origines…, rappelle Diana. La crise est née d’une abstraction mathématique poussée à l’extrême jusqu’à rompre tout lien entre crédit et richesse. C’est également ce que nous voyons aujourd’hui dans le calcul et la transmission de données. « Ils ont tellement évolué, et sont devenus si envahissants et invisibles, que leur nature même semble s’être transformée en un état transcendant. L’impression commune est que le stockage et la puissance de calcul sont des marchandises sans fin, que nous pouvons enregistrer des données illimitées sur le nuage (il ne s’agit finalement que de chiffres, qui peuvent croître sans limites), tant et si bien qu’une vidéo YouTube peut être appréciée sans autre coût que la consommation de la batterie du smartphone qui la joue. Mais c’est loin d’être la réalité », souligne-t-il en rappelant combien l’infrastructure numérique est énergivore.

Appliquée à nos relations, l’abstraction transforme nos voisins en choses. Notre empathie naturelle, ciment invisible de la société, se dissout. Pour illustrer l’abstraction, Stefano Diana prend l’exemple du combat. Dans la lutte au corps à corps, on est en contact avec le corps de l’ennemi. Quand une attaque se résume à appuyer sur un bouton pour commander un tir de drone, le corps de l’autre est une totale abstraction. Le meurtre devient facile. L’abstraction élimine l’empathie. Étape ultime, dans les systèmes d’attaques sans intervention humaine : « l’ennemi n’est qu’un bout de code, comme un « travailleur » dans une simulation de sociologie informatique basée sur des agents. Notre empathie et nos affections naturelles sont annulées. Nos corps sont annulés. C’est un monde de robots, à tous égards. »

La psychopathologie du calcul : quand tout devient chose

Dans nos sociétés avancées, nos relations sont intermédiées par des chiffres. « De nombreuses activités relationnelles, telles que la réputation et la confiance, la conversation, l’interaction émotionnelle, la politique, les affaires, etc. sont représentées par des plateformes numériques et des fonctions programmées. » L’argent, les statistiques et les mesures sont partout. Cette intermédiation croissante par des codes et mesures présente deux inconvénients, souligne Stefano Diana : le premier, c’est le mensonge. Plus nous nous connectons les uns aux autres par le biais de langues (plutôt que de corps), plus nous pouvons mentir. Pour y remédier, nous avons tendance à vouloir introduire toujours plus de chiffres. Mais plus les chiffres sont nombreux et plus les mensonges sont forts. Rien n’est plus simple à falsifier qu’un chiffre, pointe le designer – et c’est certainement encore plus le cas quand il est calculé, donc apprécié par une cascade d’autres calculs, qui transforme sa précision en seuils.

Le second inconvénient, c’est que les chiffres produisent de l’inhumanité. Notre conscience est filtrée et réduite : tout devient chose ! Or, voir les humains comme des choses est une déficience mentale, elle est la caractéristique principale d’une psychopathologie. « Les théories qui modélisent les humains en tant que variables sont indifférentes aux humains, elles sont donc intrinsèquement antisociales. » Pour Stefano Diana, notre compulsion aux chiffres nous conduit à un état de psychopathologisation avancée.

L’abstraction croissante induite par l’utilisation des chiffres et des mathématiques – associée à la montée de l’individualisme – génère une forme de fonction d’utilité croissante dont le principal effet est de désactiver, à très grande échelle, l’empathie naturelle des agents sociaux. Ainsi, les caractères pathologiques des individus les plus antisociaux deviennent les caractères généralisés de nos sociétés contemporaines, explique-t-il en évoquant les réseaux sociaux. Au final, malgré la complexité des calculs, nos décisions finissent par être prises selon des conditions arithmétiques simplistes : « si N > 0, faites ci, sinon faites ça » ! « Si le taux de croissance d’une forêt est supérieur au taux d’intérêt, conservez-la ; sinon, coupez-la ! »

Reste que ces enjeux révèlent encore un autre problème : l’abstraction des chiffres repose intrinsèquement sur l’idée d’une croissance illimitée… car les nombres abstraits et la taille des calculs, contrairement au monde physique, eux peuvent croître sans limites.

La théorie sociale basée sur des nombres abstraits s’est révélée être un instrument de pouvoir monstrueux, soutient Stefano Diana, qui masque sous effets de science leur inhumanité. Elle est entretenue par « la peur du chaos, l’anxiété, la si humaine simplification, la traçabilité mathématique, l’idéal d’objectivité et la pantomime de la certitude ». « En tant que « science non expérimentale », elle refuse le contrôle de la réalité et, paradoxalement, c’est une autre raison pour laquelle il est si difficile de l’éradiquer, comme les religions et les troubles délirants. »

Le préjudice peut-il être calculé ?

Le problème, estime encore Stefano Diana, reste de savoir ce qui est calculable et notamment de savoir si un préjudice est calculable… Or, apprécier le fait de nuire à quelqu’un nécessite une approche sensible. Nous comprenons les dommages à autrui par l’empathie qui nécessite de partager justement un corps avec les autres corps : « nous pouvons comprendre le « mal » parce que nous avons un corps qui souffre ». C’est notre sensibilité qui nous mène à reconnaître la souffrance des autres. Nous vivons dans ce que le biologiste et neuroscientifique Giacomo Rizzolatti, l’auteur des Neurones miroirs, a appelé la « résonance intersubjective ». Pour le psychologue Simon Baron-Cohen dans The Science of Evil, notre sensibilité à la souffrance d’autrui, et donc notre inhibition à lui nuire, dépend d’un circuit d’empathie. Notre perception du mal, comme nous l’a enseigné la philosophe Hannah Arendt peut disparaître quand il est réduit en petites tâches insignifiantes et décorrélées les unes des autres – ce que produisent justement les chiffres. Or, la souffrance est diverse. Nos sentiments appartiennent à ce langage flou et approximatif, composite et multiple qui ne se réduisent pas à la précision mécanique des chiffres, des taux, des niveaux, rappelle Diana. L’empathie se réduit quand nous sommes confrontés à des choses qui nous sont très différentes, c’est-à-dire quand notre compréhension est entravée… Imaginer les sentiments d’une méduse ou d’un concombre de mer est ainsi plus difficile que d’imaginer les sentiments de nos semblables. Il en est de même dans nos rapports aux machines parce que nous n’avons rien en commun avec elles. Si on intime aux machines de ne pas nous faire de mal, à l’image de la première loi de la robotique d’Asimov, force est de constater qu’elles n’en ont pas les moyens, à moins d’être capables de leur décrire explicitement ce que cela signifie.

Pour cela, explique Stefano Diana, il nous faudrait franchir deux seuils très élevés dans l’explicitation comme dans la conscientisation, sans compter la nécessaire traduction d’une complexité dans un jargon logique. Le risque bien sûr est que cette perspective ne puisse pas se faire sans réductionnisme. Pire, notre capacité à évaluer le préjudice ne serait pas estimée sur une base individuelle, c’est-à-dire sur la relation que chacun entretient avec ce qui lui nuit ou le blesse. Le risque est que nous pourrions en tirer à nouveau des leçons très générales, mais incapables de s’appliquer à chaque individu. Pour Diana, au bout du compte, si vous croyez vraiment qu’une machine, alimentée par des ensembles de données provenant d’une description de vos états intérieurs subjectifs, sera capable de calculer ce qui vous est nuisible et ce qui ne l’est pas, eh bien, vous devez être un auteur de science-fiction du siècle dernier ! Là où les langues naturelles échouent, les langues mortes du calcul n’ont manifestement aucune chance de réussir. « Plus nous déléguons notre satisfaction et notre sécurité aux machines, plus nous devons définir la satisfaction et la sécurité à l’aide de mathématiques. » Or définir la justice, la liberté, l’égalité, le mérite, la responsabilité… tient d’une tâche impossible. Le problème, c’est que nous le faisons sur la base d’approximations chiffrées éminemment sujettes à caution, à l’image du mérite que nous calculons depuis des notes faillibles.

La culture du nombre nous fait évacuer les facteurs non quantifiés des processus de décision

La culture du nombre relève d’une « toxicomanie culturelle » qui projette dans des chiffres une illusion de contrôle. Le risque bien sûr, souligne le chercheur, c’est que de moins en moins de facteurs non numériques ou incalculables soient pris en compte dans les processus de décision. Au final, croire que les ordinateurs puissent ne pas se tromper devient chaque jour une croyance plus religieuse à mesure que plus de complexité y est incorporée.

Comme le soulignait l’essayiste Evgeny Morozov (@evgenymorozov), le solutionnisme technologique est devenu la principale idéologie de la modernité. Aborder tous les problèmes, quelle que soit leur nature, par le calcul est au cœur du réductionnisme actuel. Le risque, souligne Diana, est d’abandonner tout ce qui n’est y est pas réductible au risque de développer notre surdité aux problèmes du monde. Le problème est bien d’exclure « des facteurs non quantifiés des processus de décision ». Le risque dans un avenir uniquement guidé par les données est bien de façonner une société comme une machine dont les humains ne seraient que des composantes. En fait, souligne-t-il, « la frontière épistémologique entre le calculable et l’incalculable est évidente d’un point de vue scientifique. Mais c’est aussi une frontière politique et éthique. » Pour Diana, il est nécessaire d’établir les limites de la calculabilité, de préciser les droits inviolables, c’est-à-dire ce qui ne peut ni ne doit être calculé. C’est effectivement une liste qui nous manque !

Le constat de Stefano Diana, on pourrait le formuler autrement : la question des libertés publiques n’entre pas dans les paramètres d’un système de reconnaissance faciale, de police prédictive, d’une application de suivi de contacts aussi fins puissent-ils être. La justice ou la liberté ne sont pas des paramètres qu’on peut inclure dans un tableur Excel. Le risque bien sûr est donc d’évacuer des valeurs essentielles de nos États droits sous prétexte de leur incalculabilité.

Le numérique transforme la nature même de l’appareil d’État

C’est ce que disent, d’une autre manière encore, les sociologues Marion Fourcade et Jeff Gordon (@jeffgordon12) sur le toujours excellent LPE (@LPE_project), notamment dans l’article de recherche paru dans le Journal of Law and Political Economy, la version académique du LPE. Pour les deux sociologues, le changement qu’induit l’utilisation des technologies numériques par les administrations transforme profondément la nature de l’appareil d’État. L’État à l’ère des Big Data et de l’IA est finalement moins responsable que son prédécesseur, malgré ses promesses de transparence et d’accessibilité accrue. Pire : la collecte de données alimente une transformation de la rationalité politique dans laquelle les stratégies politiques sont de plus en plus dictées par l’accessibilité des données (au détriment des stratégies qui ne reposent pas sur des données). La prédiction par le calcul remplace l’intervention par d’autres moyens. Du fait de la soumission aux seuls chiffres, ces stratégies sont plus guidées par des questions financières que par toutes autres valeurs. Enfin, dans un État piloté par les données, les entreprises privées peuvent plus facilement reconstruire et subvertir ses attributions, donc remplacer nombre des fonctions qui lui étaient exclusives ou dévolues. Dans ce sens, les entreprises entrent en concurrence avec l’État pour réinventer ses fonctions publiques traditionnelles.

Comme le soulignent les deux sociologues dans leur conclusion : l’État hyperrationaliste du code roi et de l’algorithme impénétrable ne promet aucune garantie qu’il fera mieux que l’État planificateur. La ville intelligente, conçue comme une question d’optimisation de données et de capteurs en temps réel, peut s’avérer aussi invivable que la ville moderne. Reste que l’idéologie solutionniste n’est qu’une idéologie. Pour les deux chercheurs, l’État doit apprendre à voir comme un citoyen, c’est-à-dire comme son public comme dirait le psychologue et philosophe John Dewey. Pour les deux sociologues, l’enjeu consiste à traiter les infrastructures numériques comme des services publics, avec des mécanismes de responsabilité externes aux entreprises et accessibles aux populations, leur permettant de contrôler les conditions de la surveillance et d’accéder à une gouvernance plus collective. Même constat pour la chercheuse en éthique des données et responsable du Global Data Justice, Linnet Taylor (@linnetelwin) dans un article pour la revue Philosophy & Technology, où elle estime que nous devons contraindre les entreprises de la tech, dont les actions ont des implications sur la vie sociale et politique, à respecter les normes auxquels nous soumettons les services publics ! Bref, remettre les valeurs de l’État de droit au cœur de toutes les politiques calculées. Cela ne suffira peut-être pas à rendre l’équité ou la fraternité calculable, mais peut-être que cela nous aidera à mieux saisir ce que le calcul ne peut pas faire. Face à un numérique omniprésent, qui promet d’optimiser les gains de productivité de demain, l’enjeu consiste bien à trouver les modalités pour borner et limiter son extension sans limites.

Hubert Guillaud