Elle s’en va et elle revient, elle est comme une chanson populaire : la perspective d’une Singularité, d’un remplacement progressif ou brutal de l’homme par ses créations machiniques, s’invite régulièrement dans la blogosphère techno, et pas seulement pendant les mois d’été, quand on n’a aucune info à se mettre sous la dent. Cette fois-ci, pourtant, le débat semble plus fourni et prolongé qu’à l’habitude, à cause de la réputation de ceux qui l’ont relancé : le physicien Stephen Hawking, pas moins, et un groupe d’autres scientifiques de renom. Ce collectif a en effet publié une « lettre ouverte » sur le site du Future of Life Institute, mettant en garde contre une escalade incontrôlable de l’intelligence artificielle, et encourageant une recherche prudente et réfléchie. Mais en fait, c’est surtout un article du Huffington Post, signé par Hawking, le physicien Max Tegmark (auteur d’un excellent livre, « Notre univers mathématique« ), le professeur de sciences informatiques Stuart Russel et Frank Wilczek (prix Nobel de physique 2004) qui se montre le plus alarmiste :

« On peut imaginer une telle technologie déjouer les marchés financiers, dépasser les chercheurs humains, les dirigeants humains et développer des armes que nous ne pouvons même pas comprendre. Alors que l’impact à court terme de l’IA dépend de qui la contrôle, celui à long terme dépend de savoir si elle peut être contrôlée par quiconque.

Donc, face à de possibles avantages et des risques incalculables, les experts devraient sûrement se trouver en train de faire tout leur possible pour nous garantir les meilleures conséquences, non ? Faux. Si une civilisation extraterrestre supérieure nous envoie un jour un message disant : « Nous arriverons dans quelques décennies », devrions-nous répondre simplement, « OK, appelez-nous quand vous arrivez ici – nous allons laisser les lumières allumées » ? Probablement pas – Et pourtant, c’est plus ou moins ce qui se passe avec l’IA. »

En fait, ainsi que le remarque Motherboard, le contenu de la lettre ouverte est bien plus modéré que celui de l’article du Huffington Post. En réalité, il est difficile de faire plus « classique » que l’argumentation de la lettre ouverte, et du papier qui l’accompagne (.pdf). En gros, on y apprend que l’IA présente de nombreux avantages, à condition toutefois d’être attentif aux aspects éthiques et aux conséquences sociétales. Et d’exhorter les chercheurs à la prudence, bref, pas de quoi casser trois pattes à un canard.

A la suite de cette « lettre ouverte », on apprend qu’Elon Musk, qui lui aussi dénonce volontiers le caractère dangereux de l’IA, donne à cet Institut pour la vie future une somme de 10 millions de dollars pour assurer la création d’intelligences artificielles « amicales ». Cette année a vu aussi la publication du livre du philosophe Nick Bostrom, Superintelligence, qui essaie d’analyser les possibilités, mais aussi les dangers, liés à l’apparition d’une telle « superintelligence ». Enfin, cerise sur le gâteau, la question annuelle de The Edge porte sur : « Que faut-il penser des machines qui pensent ? »…

Spéculations sur la « superintelligence »

Il existe deux sortes de dangers liés à l’IA. L’un est d’ordre plutôt social, et c’est la vieille angoisse du remplacement des activités humaines par des agents robotiques. C’est un problème qui torturait déjà les adeptes de Ned Ludd au début du XIXe siècle, lorsqu’ils détruisaient les métiers à tisser, mais cette crainte augmente désormais de jour en jour avec la croissance de la puissance des algorithmes. C’est un sujet qui a déjà été abordé dans nos colonnes et le sera encore. On n’en traitera donc pas dans les lignes qui vont suivre. L’autre grande peur qui se fait jour, notamment à travers l’article de Hawking et de ses collègues, est celle du risque existentiel : autrement dit la possibilité que l’IA mette tout simplement fin à l’existence de l’humanité.

Pour Nick Bostrom, les conséquences de l’apparition d’une superintelligence varieront grandement selon l’échelle de temps qu’elle peut mettre pour se développer. Parle-t-on en termes de minutes, d’heures, ou de mois et d’années ? Si le développement est très rapide, alors la société aura moins de chances de réagir à temps et d’adopter des mesures qui s’imposent. En revanche une évolution sur plusieurs années peut laisser le temps de prendre les bonnes décisions. Mais comment, me direz-vous, l’apparition d’une telle entité peut-elle n’advenir qu’en quelques minutes ? C’est l’un des grands thèmes de la pensée « singularitarienne ». On postule qu’une intelligence légèrement supérieure à celle des humains apparaît un jour, par accident ou de manière délibérée. A partir de ce moment, celle-ci aura les moyens de créer une « intelligence 2.0 » plus efficace et plus rapide. A son tour, celle-ci se mettra à jour dans une version 3.0, encore plus puissante ; et ainsi de suite. Les cycles de calculs étant de plus en plus courts à mesure de chaque update, il pourrait ne se passer que quelques minutes entre la version 1.0 et la version 100, qui serait à notre intellect ce que nous sommes à celui d’un cafard. A noter que cette théorie de « l’explosion de l’intelligence », comme l’a nommée son créateur, Irving John Good, se retrouve mentionnée dans l’article du Huffington Post, et est donc prise tout à fait au sérieux par Tegmark, Hawking et leurs collègues…

Un auto-développement rapide aurait également une autre conséquence : il serait probable alors qu’une seule et unique superintelligence verrait le jour. En effet celle-ci prendrait très vite possession de toutes les ressources computationnelles, ne laissant pas à d’autres entités artificielles l’occasion de se développer.

Mais quelle pourrait être la motivation d’une telle entité ? Pourquoi d’ailleurs s’en prendrait-elle à l’humanité ? L’un des arguments les plus curieux de Nick Bostrom est celui de « l’orthogonalité » entre la volonté et l’intelligence. Autrement dit, une intelligence supérieure peut poursuivre des buts très simples, tandis qu’une créature à l’intellect moyen peut avoir des motivations très complexes.

Bostrom donne comme exemple une machine destinée à produire un maximum de trombones et développant donc des trésors d’intelligence pour accomplir sa tâche. Au risque de « désassembler » l’ensemble de la vie sur terre afin d’avoir suffisamment de matériau brut pour fabriquer ses trombones…

Anders Sandberg (qui travaille avec Nick Bostrom au Future of Humanity Institute d’Oxford) se plaisait à imaginer, lors d’une conférence qu’il donna à la Gaité Lyrique, qu’une telle IA pourrait finalement évoluer au point d’avoir des interrogations éthiques sur ses actions. Est-il juste de détruire l’humanité afin de produire des trombones ? Faut-il choisir entre l’éthique et les trombones ? Au bout d’une réflexion ardue de plusieurs micro-secondes, l’IA ne pourra que choisir la réponse qui s’impose rationnellement : les trombones, évidemment !

Ceci dit, explique Bostrom, même si les objectifs d’une machine peuvent être très éloignés de nos préoccupations humaines, ces intelligences devraient quand même avoir des « motivations intermédiaires » qui nous permettraient éventuellement de comprendre un peu leur parcours. Par exemple, quel que soit le but poursuivi, on peut être assez certain que la machine cherchera à assurer sa propre survie au moins jusqu’à ce que son but final soit atteint.

Mais il est facile de voir qu’une intelligence artificielle supra-humaine animée de mauvaises intentions ne peut pas faire grand-chose si elle est confinée dans un ordinateur. Et on peut même multiplier les expériences en IA du moment que ces programmes ne sont pas interconnectés et ne dépendent pas les uns des autres. On peut se permettre une IA maléfique s’il suffit pour la neutraliser d’appuyer sur l’interrupteur, non ?

Mais Bostrom a également une réponse à cet argument. Si une superintelligence est capable de s’augmenter elle-même en se rajoutant éventuellement des « modules cognitifs » ad hoc, alors on pourrait très bien imaginer que l’IA élabore un sous-programme de « stratégie sociale » qui lui permettrait éventuellement de cacher ses projets et même de gagner la confiance de ne serait-ce qu’un être humain qui pourrait lui donner un accès à l’internet.

Bostrom cite à ce sujet un exemple d’Eliezer Yudkowsky (Yudkowsky fut, dans les années 90, bien avant Kurzweil, l’un des premiers exposants de la théorie de la Singularité). Ce dernier imagine une intelligence artificielle qui établirait les plans d’un assembleur nanotechnologique à base de protéines et d’ADN. Il prendrait ensuite le contrôle d’un seul et unique humain, en acquérant sa confiance ou en recourant à des moyens plus coercitifs comme le chantage. Il lui ne resterait plus qu’à commander ces composants moléculaires à divers laboratoires (ce qui est déjà possible aujourd’hui) en donnant l’adresse du complice et en demandant à ce dernier d’associer les différents composants en suivant ses instructions, pour créer alors une nanomachine autoréplicatrice qui assoirait sa domination.

Évidemment, tout cela semble plus s’apparenter à des scénarios pour le prochain film de Roland Emmerich qu’à des spéculations scientifiques bien ancrées dans le réel. On peut être très sceptique sur une intelligence artificielle qui serait capable de développer un tel « module social » sans jamais avoir eu à éprouver aucune empathie et sans éprouver la moindre intelligence sociale au démarrage. D’un autre côté, l’argument s’effondre si la première superintelligence n’est pas le pur produit d’un programme informatique, mais se trouve basée sur un cerveau humain « uploadé », une personne dont la personnalité aurait été transférée sur un support informatique. On pourrait alors supposer qu’elle conserverait avec elle le souvenir des rapports sociaux (et ses motivations resteraient probablement humaines et donc compréhensibles, en tout cas au début – les dix premières minutes au moins).

Si tous les humains et toutes les machines du monde se donnaient la main…

Peut-être a-t-on tort d’opposer de manière si radicale intelligence artificielle et humaine ? Dans The Edge, plusieurs auteurs se montrent plutôt optimistes sur l’avenir de la cohabitation entre notre espèce biologique et ses créations machiniques, qui pourrait aller jusqu’à la symbiose. Pour Tim O’Reilly :

« Peut-être que les humains sont-ils le microbiome vivant dans les entrailles d’une IA en train de naître ! Il est maintenant reconnu que sans notre microbiome, nous cesserions de vivre. Peut-être que l’IA mondiale possède-t-elle les mêmes caractéristiques – elle n’est pas une entité indépendante, mais le produit d’une symbiose avec les consciences humaines qui y vivent.

Suivant cette logique, on pourrait conclure qu’il existe déjà un cerveau global primitif, composé non seulement de tous les appareils connectés, mais aussi de tous les humains connectés utilisant ces systèmes. Les sens de ce cerveau global sont les caméras, microphones, claviers, capteurs de position de chaque ordinateur, chaque smartphone, et chaque dispositif de l' »internet des objets » ; les pensées de ce cerveau global sont la sortie collective émergeant des contributions de millions de cellules individuelles. »

Et d’ailleurs, sommes-nous réellement face à un phénomène nouveau ? Peut-être l’intelligence artificielle existe-t-elle depuis le début des temps ? Pour le sociologue et médecin Nicholas Christakis, la première intelligence artificielle est notre culture :

« je vois paradoxalement la culture comme une sorte d’intelligence artificielle naturelle. Elle est artificielle parce qu’elle est faite, fabriquée, produite par les humains. Elle est naturelle parce qu’elle se trouve partout où sont les humains, et nous vient de manière organique. En fait, il est même probable que notre biologie et notre culture sont intimement liées, et ont co-évolué, de telle sorte que notre culture façonne nos gènes et que nos gènes façonnent notre culture. »

Comme souvent, les mots les plus sereins sur le sujet nous viennent du pape de l’ambient music Brian Eno :

« J’ai lu une fois que les cerveaux humains ont commencé à rétrécir il y a environ 10 000 ans et sont maintenant 15 % plus petits qu’à l’époque. Cela correspond au moment où les humains ont cessé de devoir être des individus aux compétences multiples, capables de capturer leur propre nourriture, allumer leur propre feu et créer leurs propres outils pour plutôt devenir des spécialistes, qui font partie d’une vaste communauté capable d’exécuter toutes les tâches à accomplir. Peut-on distinguer la grande structure de compétences et de potentialités ainsi créée d’une « intelligence artificielle » ? Les ordinateurs numériques constituent juste un nouveau détail fractal dans la grande image, c’est juste l’étape la plus récente. Nous avons vécu heureux en compagnie de l’intelligence artificielle depuis des milliers d’années. »

Rémi Sussan