Tout récemment, dans un article sur l’opacité des IA, nous avons mentionné Murray Shanahan (@mpshanahan), qui travaillait à transformer le mécanisme d’un réseau neuronal en un programme d’Intelligence artificielle symbolique. Shanahan s’intéresse également de près aux aspects philosophiques de son domaine de recherche. Il a ainsi écrit un ouvrage sur la fameuse Singularité Technologique. Dans un récent essai pour Aeon, il s’est interrogé sur l’existence de « consciences exotiques », autrement dit d’êtres conscients et intelligents, mais radicalement différents des êtres humains (et même des animaux). Des extra-terrestres bien sûr, mais surtout, puisque c’est la spécialité de l’auteur, des Intelligences Artificielles.

La conscience est-elle « connaissable » ?

Avant même d’aborder le problème de ces créatures « exotiques », il faut se demander si, même pour nous, notre propre conscience est réellement accessible à autrui. C’est un gros débat en philosophie. Pour les uns, c’est peine perdue ; il est impossible, pour chacun de nous, d’avoir accès à une partie pour toujours privée de la conscience d’autrui. Cela mène à des hypothèses comme celle du « zombie philosophique ». Si réellement je suis à jamais incapable de savoir quelle est l’expérience consciente de mon interlocuteur, quelle est alors la preuve que nos interlocuteurs, même nos proches, ne sont pas des « zombies » dénués d’expérience interne ? L’autre point de vue, exposé notamment par Wittgenstein, à la faveur de Shanahan, est qu’au contraire, l’ensemble des contenus d’un esprit peut en théorie être accessible (ce qui ne signifie pas qu’empiriquement, on y arrive toujours ; mais il n’y a pas de « dualisme métaphysique », de séparation radicale entre la subjectivité et le comportement objectif).

Mais qu’est-ce que la conscience ? Shanahan mentionne ainsi la fameuse théorie de Tononi sur la conscience comme un phénomène intégré, qui peut être mesuré et exprimé sous la forme d’un nombre nommé Phi (nous avons présenté précédemment la théorie de Tononi). Une approche limitée selon Shanahan. Un système peut avoir un nombre Phi élevé mais ne posséder aucune interaction avec son environnement. Peut-on parler alors de conscience ? Pour lui, la conscience se manifeste essentiellement par un comportement trahissant l’existence d’un but, d’une intention. C’est par notre interaction avec cette entité que nous en venons à déduire qu’elle est consciente, et pas par l’unique examen de sa structure interne.

Mais il n’est pas toujours facile d’interagir avec autrui, et parfois, il faut aller plus loin pour déterminer la présence de la conscience, il faut réellement « construire » une rencontre, en « faire l’ingénierie » (engineer an encounter, dit le texte original). Shanahan donne l’exemple de ces patients atteints du « locked-in syndrome », incapables de s’exprimer en aucune manière. Mais on peut leur demander de penser à certaines choses (par exemple faire du tennis ou marcher dans une maison) et repérer via IRM les zones du cerveau qui s’activent à chaque cas. On peut en déduire, explique Shanahan, qu’ils ont été capables d’écouter des instructions, de former l’intention d’y répondre, de les exécuter.

Voilà un exemple de « l’ingénierie d’une rencontre », mais dans ce cas précis on sait toutefois à quel type de consciences on a affaire : celle d’un être humain qui avant son accident, avait un comportement aisément compréhensible.

Les choses se compliquent lorsqu’on a affaire à des consciences « exotiques ». Les animaux bien sûr, mais ces derniers partagent tout de même notre environnement et font partie de notre fratrie génétique. Comment imaginer la conscience d’êtres totalement différents de nous, vivant dans un milieu radicalement étranger, comme des extra-terrestres ou des IA ? Comment pourrions-nous organiser une telle rencontre ? Et le principe de Wittgentein peut-il toujours s’appliquer dans ce cas ?

Une hiérarchisation de la conscience

Pour essayer de répondre à la question, Shanahan essaie d’élaborer un graphe des consciences possibles basé sur deux axes. L’un (l’axe H) mesure la similitude des comportements avec l’être humain. L’autre représente la conscience proprement dite, que Shanahan définit par les richesses des expériences que peut connaître une entité donnée. On le remarquera d’emblée, si le premier paramètre est assez facile à renseigner, le second pose déjà beaucoup plus de questions. Shanahan place la brique aux coordonnées (0,0). Aucune ressemblance avec l’être humain et, du moins on le suppose, aucune expérience interne d’aucune sorte.

Si l’on place des animaux sur le tableau, par exemple, l’abeille est à la fois assez bas sur l’axe « humanité » et sur celui de la « conscience ». Le chat est très proche de l’humanité, contrairement à la pieuvre, mais celle-ci serait (du moins selon Shanahan) plus avancée en terme de richesse de conscience. « Le poulpe illustre la possibilité d’une créature cognitivement sophistiquée, que nous serions enclins à créditer d’une capacité à éprouver de riches expériences conscientes, mais dont le comportement est difficile à comprendre pour les humains. »

Comment peut-on évaluer les IA sur ce même diagramme ? Shanahan utilise comme exemple le robot aspirateur Roomba, le robot quadrupède BigDog et le célèbre AlphaGo. Aucun des trois n’est bien élevé sur l’axe de la conscience, à peine plus évolué que la brique. Sur le plan de la similarité avec l’humain, Shanahan place le Roomba au plus haut, tout simplement parce qu’il est aisé de lui prêter des « intentions » de haut niveau : on sait que le Roomba « veut » nettoyer la pièce et qu’en conséquent il va « décider » d’accomplir un certain nombre de tâches. Le BigDog peut lui aussi se voir assigner une certaine intentionnalité, dans sa façon par exemple de s’adapter au terrain qu’il traverse, mais il est difficile de lui attribuer un « but » comme celui qui est clairement apparent pour le Roomba. Et AlphaGo, pourquoi l’une des plus puissantes IA se trouve-t-elle si bas sur l’axe H ? Après tout elle possède bien aussi une intention (gagner au Go), non ?

Mais nous dit Shanahan, AlphaGo « n’habite pas le monde physique ni aucun équivalent virtuel. Il ne perçoit pas le monde et ne s’y déplace pas, et la totalité de son comportement est manifestée par les mouvements qu’il effectue sur le damier de Go ».

Pourtant, même là, il est possible de prêter des intentions humaines au logiciel. Shanahan cite ainsi plusieurs commentaires qui laissent à penser que dans l’esprit de leurs auteurs au moins, AlphaGo poursuit vraiment ses propres objectifs. Pour exemple Shanahan cite des tweets significatifs de Demis Hassabis, cofondateur de DeepMind, diffusés pendant la partie avec Lee Sedol : « #AlphaGo pensait que tout allait bien, mais s’est retrouvé confus lors du mouvement 87 » ou encore : « une erreur a été commise lors du mouvement 79, mais AlphaGo ne l’a réalisé qu’au cours du mouvement 87 ». Deux tweets qui assignent ouvertement une intention et même des « sentiments » (comme la « confusion ») au programme. Dans un dernier tweet, Demis Hassabis modifie un peu son ton et corrige : « quand je parle de « pensée » ou de « réalisation », je parle juste des valeurs de sortie du réseau. C’était à 70 % au mouvement 79 avant de plonger au mouvement 87 « .

Cela montre toutefois à quel point il est facile d’accorder un comportement humain à des programmes informatiques. Toujours est-il, que, pour Shanahan, « c’est une utilisation superficielle de la notion d’intention, qui n’aide guère à comprendre AlphaGo. Celui-ci n’a pas d’interaction avec un monde d’objets spatio-temporellement situés, et il n’y a pas de manière féconde de caractériser son comportement en termes de l’interaction entre la perception, la croyance, le désir, l’intention et l’action. »

En fait, conclut Shanahn, AlphaGo serait plus un exemple de « cognition exotique » que de « conscience exotique ».

Pour l’instant, on n’a pas rencontré de problèmes fondamentaux : on a d’un côté des entités qui peuvent être intelligentes, mais pas conscientes, et d’autres qui peuvent être conscientes et intelligentes et qu’on peut comprendre, même si cela demande un effort. Reste la grande question d’une créature dotée d’une haute conscience, mais dont les liens avec le comportement humain seraient très rares, ou inexistants. Comment peut-on alors « organiser une rencontre » ?

A la recherche de la conscience « Alien »

Comme on n’a jamais rencontré de telles entités, on est bien sûr obligé de se livrer à un peu de spéculation.

La problématique commence avec la création possible de ce qu’on appelle une Intelligence Artificielle Généraliste ou AGI (Artificial General Intelligence). Il s’agirait d’un programme (totalement inexistant pour l’instant) qui, contrairement aux logiciels d’aujourd’hui qui se cantonnent dans une seule tâche, serait capable de s’adapter et d’apprendre à traiter toutes sortes de problèmes, comme nous le faisons. Selon Shanahan, une AGI parfaitement « humaine » pourrait être réalisée en copiant l’intégralité d’un cerveau humain sur un nouveau support (le fameux « mind uploading » des transhumanistes, une technologie à laquelle l’un des pères de l’IA, Marvin Minsky croyait fermement), ou encore en copiant la structure du système central d’un nouveau-né humain et en l’éduquant par la suite. De telles AGI pourraient-elles être considérées comme conscientes ? Probablement oui, nous dit Shanahan, de tels esprits seraient positionnés sur le graphe à peu près au même niveau qu’un être humain.

Restent les autres cas. Première possibilité, l’intelligence artificielle « super-intelligente » et « super-consciente ». Shanahan utilise pour nommer de telles créatures le terme « enfants par l’esprit » (mind children) inventé par le roboticien Hans Moravec. Ces êtres seraient probablement doués de capacités cognitives bien plus avancées que les nôtres, mais on pourrait imaginer aussi qu’elles connaissent une gamme d’expériences (et donc une conscience) largement plus étendue que celle des autres humains. A cause de cela, de telles intelligences se situeraient un peu plus bas sur l’axe de l’humanité. Selon Shanahan, ces entités resteraient cependant tout de même basées sur la structure du cerveau humain, comme les AGI décrites précédemment, mais fortement améliorées. Si elles nous sont étrangères, elles resteraient donc probablement relativement compréhensibles.

Reste le dernier et ultime cas. Une IA qui ne serait pas du tout basée sur la structure de notre cerveau ou une créature extraterrestre fondamentalement différente de nous. Par définition, elle serait très basse sur l’axe H. Mais comment la placer sur l’axe C ? Il faudrait essayer là d’organiser une rencontre pour s’assurer que la chose en question poursuit un but, même s’il est quasi impossible de savoir de quel but il s’agit.

Quoi qu’il en soit, avec de telles consciences exotiques, le principe de Wittgenstein semble pris en faute : soit on admet la possibilité que certains faits subjectifs nous sont à jamais interdits et compréhensibles, soit on continue à assumer le principe de Wittgenstein et on nie une bonne fois pour toutes la possibilité de l’existence de telles consciences exotiques.

Mais il existe une troisième possibilité nous dit Shanahan. Il nous faut peut-être cesser de considérer la conscience comme un concept unique, quelque chose que justement on peut mesurer et placer sur un axe, comme il l’a fait jusqu’ici. « Examiné de plus près, le concept de conscience englobe beaucoup de choses, y compris la conscience du monde (ou conscience primaire), la conscience de soi (ou conscience d’ordre supérieur), la capacité à éprouver de l’émotion et de l’empathie, et l’intégration cognitive (dans laquelle les ressources complètes de cerveau sont amenées à porter sur la situation en cours) ». Si chez l’humain toutes ces fonctions sont réunies, il se pourrait bien que chez des êtres totalement étrangers, elles se retrouvent disjointes. En fait l’existence de telles entités nous amènerait probablement à reformuler notre langage, et parler de manière plus précise d’une multitude de phénomènes que nous regroupons de manière primitive sous le vocable de « conscience ».

Pourquoi se préoccuper de tout cela se demande finalement Shanahan. Après tout, nos chances de rencontrer un jour des extraterrestres sont minimes. Recevoir un signal de leur part est un peu plus dans l’ordre des possibilités, mais cela reste assez improbable. Cependant, souligne-t-il, l’intelligence artificielle pose des questions beaucoup plus urgentes. « Nous pourrions bien créer une intelligence artificielle autonome, de niveau humain au cours des prochaines décennies. Si cela se produit, la question de savoir si, et dans quel sens, nos créations sont conscientes deviendra moralement signifiante ». Et, continue-t-il, « même si aucun de ces scénarios de science-fiction ne se réalise, situer la conscience humaine dans un espace plus large de possibilités m’apparaît comme un des projets philosophiques les plus profonds que nous puissions entreprendre ».

Rémi Sussan