Une machine peut-elle souffrir de maladie mentale ? Peut-on parler de « névrose » pour un robot ? C’est la question que pose le psychologue Thomas Hills (@thomhills) dans Aeon.A propos des systèmes de Deep Learning, tels qu’AlphaGo, il affirme ainsi : « leurs problèmes ne sont pas apparents lorsqu’on regarde leur code source. Ils sont inhérents à la façon dont ils représentent l’information. Cette représentation est un espace multidimensionnel en constante évolution, c’est un peu comme se promener dans un rêve. La résolution de ces problèmes n’exige rien de moins qu’un psychothérapeute pour algorithmes. »

Les faits mentionnés dans l’article ne sont pas particulièrement inédits : les biais algorithmiques dont il parle, qui poussent les logiciels à avoir des comportements racistes, sexistes ou en tout cas des préjugés liés à la façon dont les « data » ont été entrées par les humains ont déjà été largement dénoncés, notamment dans nos colonnes (par exemple, entre autres, ici ou ici), et ce genre de problématique est au coeur du projet NosSystèmes de la Fing. On sait également que la moindre modification dans une image (même invisible par les humains) ou la plus petite coquille dans un texte, est susceptible d’induire des erreurs monumentales (et incompréhensibles) dans un programme.

Non, ce qui est intéressant, c’est le vocabulaire utilisé par Hills : peut-on dire qu’une machine qui voit sur une image quelque chose qui n’y figure pas qu’elle « hallucine » ? Après tout, pourquoi pas ?

Image : le robot aspirateur Roomba aurait-il peur du vide ? Visiblement, rapportent les auteurs du programme de recherche Sensibilités algorithmiques du médialab de Sciences Po, ses capteurs infrarouges auraient du mal à interpréter correctement les sols très sombres, les prenants pour un trou ou des escaliers qu’il a appris à éviter.

Mais il n’est pas question seulement de bugs, de biais ou de data incorrectes. Selon l’auteur, les IAs sont également susceptibles de rencontrer des problèmes de « santé mentale » à cause de leur structure même, et ces « maladies » se rapprochent de celles rencontrées par les humains. « Ils peuvent oublier les choses plus anciennes lorsqu’ils apprennent de nouvelles informations », explique-t-il… Un tel phénomène se nomme « l’oubli catastrophique » et touche les réseaux de neurones, selon l’auteur, qui cite une étude parue dans Pubmed qui présente le problème (et suggère des solutions). Dans un tel cas, l’algorithme « n’apprend plus rien et ne se souvient plus de rien ». Et Hills de rapprocher cet état d’une théorie sur sur le cerveau humain, selon laquelle le déclin cognitif lié à l’âge serait la conséquence d’une trop grande masse de souvenirs devenue ingérable…

Vers une science du « comportement machinique »

Ce qui pose réellement question dans l’article de Hills, c’est donc l’idée que la question de la valeur des algorithmes n’est pas uniquement un problème d’ingénierie, mais qu’il se rapproche d’études de l’humain. Parallèlement à cet article d’Aeon, la question du comportement des programmes est également abordée par la revue Nautil.us, de manière plus poussée, par deux chercheurs du Scalable Cooperation Group du MediaLab du MIT, Iyad Rahwan (@iyadrahwan) et Manuel Cebrian.

Si, contrairement, à Thomas Hills, les deux auteurs se gardent de tout anthropomorphisme, ils n’en affirment pas moins que l’analyse des algorithmes dépasse de loin l’unique domaine de l’ingénierie. « Et si les physiologistes étaient les seules personnes à étudier le comportement humain à toutes les échelles : du fonctionnement du corps humain, jusqu’à l’émergence des normes sociales, sans oublier le fonctionnement du marché boursier, la création, le partage et la consommation de la culture ? Et si les neuroscientifiques étaient les seules personnes chargées d’étudier le comportement criminel, de concevoir des programmes d’études et d’élaborer des politiques pour lutter contre l’évasion fiscale ?« , demandent-ils dès les premières lignes. C’est pourtant ainsi que nous agissons avec nos systèmes numériques : « Les scientifiques qui créent des agents IA, à savoir les informaticiens et les roboticiens, sont presque toujours les mêmes scientifiques qui étudient le comportement desdits agents IA. »

Aujourd’hui, la plupart des recherches sur les IAs se contentent de vérifier si l’algorithme remplit bien la tâche pour laquelle il a été créé : si la voiture sans chauffeur se déplace correctement sur une route, si le système de reconnaissance d’image repère bien les chats dans les vidéos, et, reconnaissent les auteurs, ce sont bien sûr des travaux très utiles, mais très limités.

« L’étude du comportement d’un agent intelligent (humain ou artificiel) doit être menée à différents niveaux d’abstraction, afin de bien diagnostiquer les problèmes et concevoir des solutions. C’est pourquoi nous avons une variété de disciplines concernées par l’étude du comportement humain à différentes échelles. De la physiologie à la sociologie, de la psychologie à la science politique et de la théorie des jeux à la macroéconomie, nous obtenons des perspectives complémentaires sur la façon dont les humains fonctionnent individuellement et collectivement. »

C’est pourquoi les deux auteurs appellent à la création d’une nouvelle disciple scientifique, « l’étude du comportement machinique ». Cette discipline aurait bien sûr des liens avec l’informatique et la robotique, mais traiterait d’un niveau d’abstraction supérieur. Il ne s’agirait pas d’entrer dans le code source d’un logiciel, ou d’analyser les problèmes intrinsèques au hardware : elle développerait sa propre méthodologie.

Il n’est point question pour eux de tomber dans l’anthropomorphisme ou le zoomorphisme (donc, non, ils ne parleraient certainement pas de maladie mentale des machines !) ; au contraire, les IAs sont un nouveau type d’agent possédant des processus cognitifs radicalement différents de celui des entités biologiques, et affecteraient un comportement que les auteurs n’hésitent pas à qualifier d' »alien« , ce en quoi ils se rapprochent des propos d’un Kevin Kelly, qui, dans un article paru dans Backchannel, effectuait la même comparaison.

Un tel type d’analyse de haut niveau serait nécessaire bien sûr tant à cause du comportement intrinsèquement imprédictible des programmes d’IA, que de l’illisibilité du code source, mais aussi parce que de toute façon, bon nombre des algorithmes sont inaccessibles pour cause de propriété intellectuelle.

Et bien sûr, une telle recherche ne se contenterait pas d’analyser le comportement de telle ou telle machine, mais, à l’instar des sciences humaines, se pencherait sur l’écosystème général, et donc sur le rapport qu’elles entretiennent avec les humains et la société en général. C’est à ce niveau, et pas à celui du code, qu’on pourrait examiner de façon satisfaisante des problèmes comme celui de l’éthique des machines.

Et bien entendu, pour créer ce nouveau champ d’études, de nouvelles compétences seraient nécessaires : des chercheurs venus des sciences sociales et de la psychologie devraient accompagner les roboticiens et informaticiens dans ces travaux.

D’ailleurs, les chercheurs l’avouent eux-mêmes : « Dans notre propre travail – nous sommes nous-mêmes informaticiens – nous avons souvent été remis en cause par nos collaborateurs en sciences sociales et comportementales. Ils ont souvent souligné à quel point nos questions de recherche initiales étaient mal formées, ou comment notre application de certaines méthodes de sciences sociales était inappropriée – par exemple manquant de mises en garde importantes ou tirant des conclusions trop hâtives. Nous avons appris – à la dure – à ralentir notre tendance naturelle à simplement analyser de gros volumes de données ou à construire des modèles d’apprentissage automatique. »

Dans un article de recherche, les auteurs poussent plus loin leur réflexion. Ils envisagent la création d’une plate-forme qu’ils nomment la « boite de Turing ». Cette « place de marché » aurait deux types de participants. Il y aurait d’un côté les contributeurs, qui uploaderaient leurs algorithmes, et de l’autre les examinateurs, qui mettraient au point des tâches et des méthodes permettant d’analyser et de mesurer le comportement des IAs, y compris dans des domaines qu’on n’a pas encore l’habitude prendre en compte, comme l’éthique.

De fait l’article de Thomas Hills comme les recherches d’Iyad Rahwan et Manuel Cebrian nous conduisent à imaginer la future profession de psychologue pour robot. Encore un exemple des capacités de prédiction de la science-fiction. Car Isaac Asimov avait déjà mis en scène, dès 1940, une telle professionnelle. La célèbre Susan Calvin, héroïne de sa très fameuse série de nouvelles et de romans sur les robots !

Rémi Sussan