Joi Ito (@joi), le patron du Media Lab du MIT (voir nos récents articles : « L’avenir est-il à l’antidisciplinarité ? » et « Vers l’intelligence étendue ? ») vient de publier un très intéressant manifeste intitulé « Résister à la réduction ». Pour lui, explique-t-il nous sommes menacés par une réduction de sens et de valeur.
S’inspirant de Norbert Wiener et notamment de Cybernétique et société (dont la traduction littérale du titre originel serait plutôt « L’usage humain des êtres humains »), le paradigme de notre civilisation s’est simplifié tant et si bien qu’il a perdu de vue ses missions d’origines. La valeur et la complexité se sont concentrées de plus en plus sur la priorisation d’une croissance financière exponentielle, menées par des entreprises à but lucratif qui n’ont cessé de gagner autonomie, droits, pouvoir et influences sans aucune régulation. Le comportement de ces entités est devenu un cancer, avance-t-il sans ambages. Alors que les cellules saines régulent leur croissance et répondent à leur environnement, les cellules cancéreuses, elles, optimisent leur croissance sans contrainte et se propagent sans tenir compte de leur fonction ou de leur contexte.
Le monde n’est pas domptable
« L’idée que nous existons pour le bien du progrès et que le progrès exige en retour une croissance sans contrainte et exponentielle est le fouet qui nous fouette. Les entreprises modernes sont le produit naturel du paradigme du marché libre du système capitaliste. Norbert Wiener lui-même d’ailleurs appelle les entreprises des « machines de chair et de sang » et l’automatisation des « machines de métal ». Les nouvelles espèces de méga-entreprises que produit la Silicon Valley – les machines de bits – sont développées et gérées en grande partie par des gens qui croient en une nouvelle religion : la Singularité. Cette nouvelle religion n’est pas un changement fondamental de paradigme, mais plutôt l’évolution naturelle du culte de la croissance exponentielle appliquée au calcul moderne et à la science. Et l’asymptote de la croissance exponentielle du pouvoir du calcul est l’intelligence artificielle.
La notion de Singularité – c’est-à-dire l’idée que l’intelligence artificielle va supplanter les humains par sa croissance exponentielle – est une religion créée par des gens qui ont l’habitude d’utiliser le calcul pour résoudre des problèmes jusqu’à présent considérés comme impossibles à résoudre par des machines complexes. Ils ont trouvé un partenaire idéal avec le calcul numérique – un système de pensée connaissable et contrôlable qui s’améliore sans cesse dans sa capacité à maîtriser et traiter la complexité, conférant richesse et pouvoir à ceux qui la maîtrisent. Dans la Silicon Valley la combinaison de think tank et le succès financier du culte de la technologie ont créé un système de rétroaction positif qui a peu de disposition à la régulation. Alors qu’ils n’aiment pas qu’on compare leurs croyances à une religion et affirment que leurs idées sont basées sur la science et les preuves, ceux qui embrassent la Singularité s’engagent (…) surtout et d’abord à atteindre leur vision.
Les Singularitatiens croient que le monde est connaissable et simulable par ordinateur et que les ordinateurs seront capables de traiter le désordre du monde réel, comme ils résolvent bien d’autres problèmes qu’on ne pensait pas jusqu’à présent pouvoir être résolus par des ordinateurs. Pour eux, ce merveilleux outil, l’ordinateur, a si bien fonctionné qu’il va continuer à fonctionner pour tous les défis que nous lui adresserons, jusqu’à transcender les limites connues et que nous atteignons une sorte de vélocité pour nous extraire de la réalité. L’IA remplace déjà les humains dans la conduite automobile, le diagnostic de cancer ou la recherche de documents judiciaire. Pour eux, l’IA va continuer ses progrès sans fin jusqu’à fusionner avec nos cerveaux et devenir une super-intelligence toute puissante. »
Reste que pour Ito, l’idée qu’une intelligence supérieure sera demain capable de résoudre tous les problèmes est une vision « désespérément naïve ». « Plus de calcul ne nous rend pas plus intelligents, mais seulement plus puissants en terme de capacité de calcul ». Pour que la Singularité ait un résultat positif, il faut croire que, si on lui donne assez de pouvoir, le système saura d’une façon ou d’une autre comment se réguler. Le résultat final serait si complexe que nous humains ne serions pas en mesure de le comprendre, mais qu’il le comprendrait et le résoudrait par lui-même. En fait, cela ressemble un peu à la planification de l’ex-Union soviétique, ironise Ito, mais avec une information totale et un pouvoir illimité, deux conditions qui nous seront difficilement acceptables. Si certains Singularitariens ont une vision plus distribuée de ce futur, reste que tous pensent qu’avec suffisamment de pouvoir et de contrôle le monde est domptable.
Il nous faut refuser le réductionnisme utilitariste
Les Singularitariens croient dans les courbes exponentielles, des courbes de rétroactions positives sans limites. Mais ceux qui ne sont pas dans cette bulle explicative, croient plutôt en des courbes en S, à savoir que le monde s’adapte et s’autorégule. Pour Ito nous sommes là face à un réductionnisme insoutenable. Quand le psychologue BF Skinner a découvert le principe du renforcement, nous avons pu construire de nouvelles formes d’apprentissage depuis ses théories. Mais il a fallu du temps pour comprendre que les approches comportementalistes ne fonctionnent que pour un éventail restreint de formes d’apprentissages. L’eugénisme n’a cessé de simplifier le rôle de la génétique, cherchant toujours à fournir une vision scientifique réductionniste de la génétique, imaginant que nous pourrions « réparer l’humanité » en favorisant la sélection naturelle. Et les échos de l’eugénisme continuent leurs ravages aujourd’hui en tentant sans cesse de lier la génétique avec le tabou de l’intelligence.
Pour Ito, nous devrions apprendre de notre histoire et résister au réductionnisme utilitariste de la science. Einstein disait que « tout devrait être aussi simple que possible, mais pas plus simple ». Et Ito d’en appeler à refuser le réductionnisme du monde. « Nous devons embrasser l’inconnaissable – l’irréductibilité – du monde réel que les artistes, les biologistes et tous ceux qui travaillent dans le monde désordonné des arts et des sciences humaines avec lesquels ils sont familiers, connaissent ».
La cybernétique de Wiener a été écrite à une époque où il était plus facile de croire que les systèmes pourraient être contrôlés et limités. A cette époque, les ingénieurs et les scientifiques pouvaient encore comprendre ce qu’il se passait dans leurs systèmes.
« Il est bien évident aujourd’hui que la plupart de nos problèmes – changement climatique, pauvreté, obésité, maladies chroniques, terrorisme… – ne peuvent être résolus simplement avec plus de ressource ou par un plus grand contrôle. Notamment parce qu’ils sont le résultat de systèmes adaptatifs complexes qui sont eux-mêmes les résultats d’outils utilisés pour résoudre des problèmes du passé, comme la construction d’une productivité sans fin et nos tentatives à contrôler toutes choses »
.
Mais la cybernétique a changé. Aujourd’hui, elle est celle de systèmes complexes auto-adaptatifs, où l’observateur lui-même fait partie du système, comme le dit le chercheur Kevin Slavin (@slavin_fpo), fondateur du programme Playful Systems au Media Lab, en défendant conception comme participation. Nous appartenons à un monde de systèmes interconnectés, complexes, auto-adaptatifs, à différentes échelles et dimensions, intriqués les uns dans les autres et qui rendent inséparable la position de l’observateur et du concepteur. Plus nous introduisons de machines dans le système, plus elles augmenteront les individus, mais aussi – et c’est plus important – augmenteront les systèmes complexes dans leur ensemble. Pour Ito, c’est là que la formulation problématique de l’intelligence artificielle devient évidente, car elle suggère des formes, des buts et des méthodes qui se tiennent en dehors de toute interaction avec d’autres systèmes adaptatifs complexes, plaide -t-il en parlant l’intelligence étendue. « Au lieu d’essayer de contrôler, de concevoir ou même de comprendre les systèmes, il est plus important de concevoir des systèmes qui participent en tant qu’éléments responsables, conscients et robustes de systèmes encore plus complexes. Et nous devons questionner et adapter notre propre but et nos propres sensibilités en tant que concepteurs et composants du système pour une approche beaucoup plus humble : l’humilité plutôt que le contrôle. »
La résilience plutôt que l’optimisation, la diversité plutôt que l’uniformisation
Pour Ito, l’enjeu n’est pas tant l’optimisation des systèmes que de développer leur capacité de résilience. Ito fait référence au livre de l’écologiste Donella Meadow, Thinking in Systems et à un article qu’elle a publié où elle explique comment intervenir dans un système complexe et auto-adaptatif. Elle y pointait les modalités d’interventions dans un système selon leur efficacité.
Image : les modalités d’intervention dans un système dans l’ordre croissant de leur efficacité, par Donella Meadow :
12 : Constantes, paramètres, nombres (comme les subventions, taxes, normes).
11. La taille des tampons et autres stabilisateurs par rapport à leurs débits.
10. La structure des stocks et des flux matériels (tels que les réseaux de transport, les structures d’âge de la population).
9 La longueur des retards par rapport au taux de changement du système.
8. La force des boucles de rétroaction négative par rapport aux impacts qu’elles tentent de corriger.
7. Le gaindes boucles de rétroaction positives.
6. La structure des flux d’informations (qui a ou n’a pas accès à l’information).
5. Les règles du système (comme les incitations, punitions, contraintes).
4. Le pouvoir d’ajouter, de modifier, de faire évoluer ou d’auto-organiser la structure du système.
3. Les objectifs du système.
2. L’état d’esprit ou le paradigme à partir duquel le système (c’est-à-dire ses objectifs, sa structure de pouvoir, ses règles ou sa culture) se pose.
1. Le pouvoir de transcender les paradigmes.
Pour elle, les interventions qui impliquent de modifier les paramètres ou de changer les règles ne sont pas aussi puissantes ou aussi fondamentales que les changements dans les objectifs et les paradigmes d’un système. Pour Ito, cela pointe le fait que la soutenabilité n’est pas tant quelque chose qui doit être résolu dans un monde de progrès spontané où le plus est toujours le mieux et où le plus plus qu’assez n’est jamais le trop. Il nous faut nous intéresser aux valeurs et aux modalités pour examiner si elles sont adaptées et appropriées aux systèmes dont nous participons.
Pour le dire autrement et plus clairement, notre épanouissement dépend moins d’un éventail de mesures capables d’évaluer le succès, dépend moins d’une accumulation de pouvoir et de ressources que d’une diversité et d’une richesse d’expérience. Pour Ito, c’est le changement de paradigme dont nous avons besoin. Nous avons besoin d’une diversité, d’une multitude de modèles technologiques et culturels pour créer une société hautement adaptable. Nous ne pouvons pas penser résoudre notre impact environnemental sans poser des questions sur le sens du bonheur et notre rôle avec la nature. Et de pointer d’ailleurs le cours qu’il dispense au MIT avec le moine bouddhiste Tenzin Priyadarshi, directeur de l’initiative éthique du Media Lab, Principes d’attention, où il enseigne aux étudiants à utiliser une variété de métriques pour mesurer leurs succès et leurs significations, pour les aider à la fois à se débattre de la complexité et à trouver leur place dans un monde complexe. Ainsi que l’initiative de l’IEEE (voir également les publications de ce groupe de travail) pour développer des lignes directrices pour une intelligence artificielle au service du bien-être humain plutôt que de l’optimisation économique. Ou encore les travaux de Peter Seligman, Christopher Filardi et Margarita Mora de l’association Conservation International, qui abordent la préservation en soutenant l’épanouissement des peuples autochtones.
Notre avenir, conclut Ito est de nous épanouir en harmonie avec la nature plutôt que par son contrôle.