Le dernier livre de Jean-Gabriel Ganascia a de nombreux mérites, le principal est certainement sa très grande clarté. Dans Le mythe de la Singularité, le spécialiste de l’Intelligence artificielle et président du comité d’éthique du CNRS réfute et démonte pas à pas le cadavre de la Singularité et bien des absurdités qu’ânonnent trop de technoprophètes.

« La Singularité, ça ne tient pas la route ! »

« La Singularité, ça ne tient pas la route », lançait-il comme un cri du coeur lors d’une récente rencontre autour de son livre organisée par Renaissance numérique (audio). Si à l’origine, la Singularité décrit un point critique dans une fonction en mathématique, la notion a vite échappé à son domaine d’origine. Elle désigne désormais un autre point critique : la promesse que l’intelligence des machines dépasse celle de l’homme (voir nos nombreuses publications sur le sujet). Le problème, c’est que cette prophétie ne semble pas sérieuse : elle ressemble plus à un assemblage d’idées depuis un PowerPoint qu’à un raisonnement argumenté. Le petit livre de Jean-Gabriel Ganascia rappelle fort justement l’histoire de cet assemblage.

La Singularité technologique est apparue dans les romans de SF du mathématicien et informaticien Vernor Vinge, sans aucune prétention scientifique, avant qu’il ne la théorise dans un essai en 1993. « Nous sommes donc passés de la science-fiction à la science », constate Ganascia. Si Vinge ne fut pas le premier à imaginer l’autonomisation de la technologie, il argumente son extrapolation en se référant à la fameuse loi de Moore, du nom d’un des fondateurs d’Intel, qui constate en 1965, que les capacités de stockage d’information et la vitesse de calcul des processeurs doublent à un rythme exponentiel. Cette loi d’observation, cette « formule empirique », même si elle s’est avérée juste jusqu’à présent, n’assure pourtant aucune validité future. Et les limites atomiques du silicium montrent qu’elle ne devrait pas tarder d’atteindre un mur, ses limites (imminentes, prévues pour 2016 ou 2021… qui annoncent surtout une limite économique plus que technique). Si une autre technologie pourrait prendre le relai, rien n’assure qu’elle suive la même constance. Bref, « l’observation de la loi de Moore sur les cinquante dernières années ne garantit nullement sa validité dans le futur ». Comme il le souligne encore « l’examen rétrospectif des études prospectives montre que le futur obéit rarement aux prévisions. Le progrès est convulsif ! Il n’existe pas de déterminisme technologique. » Mais surtout, souligne Ganascia, il y a un paradoxe logique à la Singularité : comment une rupture technologique pourrait-elle se déduire d’une loi reposant sur la régularité du cours de la technologie ?

Image : la loi de Moore via Zdnet.

L’autonomie des machines n’est pas pour demain

Jean-Gabriel Ganascia critique le mythe même de l’intelligence des machines. Si les performances des technologies sont époustouflantes (pensons à AlphaGo ou aux voitures autonomes par exemple), et vont continuer à l’être en étendant leurs champs d’action, ces progrès peuvent-ils nous laisser croire pour autant que les ordinateurs deviendront autonomes, qu’ils pourront se passer des humains pour agir ?

En fait, l’intelligence des machines – ou plutôt leur capacité à simuler l’intelligence – ne repose pas sur l’accroissement de la puissance de calcul. Si « l’apprentissage automatique dote les machines d’une capacité à construire d’elles-mêmes des connaissances et à les utiliser pour se reconfigurer en réécrivant leurs propres programmes » et dote ainsi les machines d’une forme d’imprévisibilité en étant capable de traiter des données si massives (que nous ne sommes pas capables de traiter en tant qu’humains), doit-on pour autant s’inquiéter de leur autonomisation ?

En fait, précise très bien Jean-Gabriel Ganascia :

« quelles que soient les modalités d’apprentissage des algorithmes (qu’ils soient « supervisés », « non supervisés » ou « par renforcement »), les machines n’acquièrent pas pour autant d’autonomie au sens philosophique du terme, car elles restent soumises aux catégories et finalités imposées par ceux qui auront annoté les exemples dans la phase d’apprentissage. »

Si elles acquièrent une autonomie technique, elles sont incapables de se donner leurs propres lois, à savoir les règles et les finalités de leurs comportements. Elles sont incapables de devenir « philosophiquement autonomes ». « Une arme autonome philosophiquement ne se contenterait pas de déclencher un tir sur une cible choisie parce qu’elle possède des caractéristiques de couleur ou de forme données, mais déterminerait par elle-même les caractéristiques des cibles qu’elle déciderait d’atteindre pour satisfaire les objectifs qu’elle se serait elle-même donnée ».

Quels que soient les techniques d’apprentissage des machines, elles nécessitent une configuration visant à choisir le critère à optimiser, sans que la machine soit en mesure de le changer. « Les machines ne modifient pas d’elles-mêmes le langage dans lequel s’expriment les observations qui alimentent leurs mécanismes d’apprentissage et les connaissances qu’elles construisent. »

C’est-à-dire que les techniques d’apprentissage n’ont pas la capacité à inventer des concepts neufs ou de construire des appareils conceptuels inédits. Si elles savent catégoriser bien mieux que nous, pour Jean-Gabriel Ganascia : « rien en l’état actuel des technologies d’intelligence artificielle n’autorise à affirmer que les ordinateurs seront bientôt en mesure de se perfectionner indéfiniment sans le concours des hommes »… et donc rien ne nous dit qu’elles seront capables de nous dépasser ou d’acquérir des formes d’autonomie au sens philosophique du terme.

Des promesses… au mythe

Comme il l’expliquait à la conférence, l’IA sait très bien reproduire certaines fonctions de l’homme. Les ordinateurs jouent mieux au jeu de Go que nous. La reconnaissance d’image de FaceNet de Google est bien plus performante que la nôtre. Mais cela ne signifie pas pour autant que les machines puissent un jour reproduire les comportements d’une personne, c’est-à-dire qu’elles soient capables de se fixer leurs propres objectifs. Aujourd’hui, on utilise les systèmes d’apprentissage pour fabriquer des systèmes prédictifs prédateurs et injustes. Injustes parce que calculés depuis vous-mêmes et non plus mutualisés dans un objectif d’intérêt général et d’équité, précisait-il. « Avec le Big data, on fait de l’anticipation basée sur la corrélation. Cette anticipation repose sur un axiome de régularité : ce qui s’est passé dans le passé doit se reproduire. » Mais la régularité ne sait prévoir que ce qui est régulier, sans être capable de prédire quand cette régularité cessera.

L’anticipation a toujours reposé sur le repérage de corrélations, rappelle le chercheur. Malgré la profusion de méthodes et d’outils, l’avenir pourtant n’apparaît guère plus prévisible aujourd’hui qu’auparavant, constate-t-il. La modélisation n’est qu’un intermédiaire entre le scientifique et son objet d’étude, un outil pour observer la mesure. Mais même la multiplication des observations ne suffit pas toujours à étayer un modèle. Et le chercheur de comparer la question de la Singularité ou du transhumanisme au réchauffement climatique : Si dans les deux cas, on tente de prédire l’avenir, le parallèle s’arrête là. « Dans le cas de la climatologie, on simule différents modèles sous différentes hypothèses scientifiques ; on les valide par des études rétrospectives, sur des données issues d’observations contrôlées ; ensuite on confronte les anticipations auxquelles ces modèles conduisent ; enfin, on les publie et les discute publiquement. Aujourd’hui, tous les scénarios concluent au réchauffement global, même si la vitesse du processus et ses conséquences diffèrent d’un modèle à l’autre. Dans le cas de la Singularité technologique, il en va tout autrement : aucune évaluation claire ne confronte ce scénario à d’autres. »

Pour Ganascia, les études rétrospectives montrent que les études prospectives dans le domaine des technologies de l’information se révèlent toujours très approximatives. En ce qui concerne la Singularité, au final, pour lui, elle est si improbable qu’on ne saurait l’envisager sérieusement. La rapidité de calcul ne fait pas l’intelligence. Si l’apprentissage est puissant, il a des limites intrinsèques : on ne sait pas automatiser les changements de paradigmes… En fait, c’est un peu comme si la Singularité était en fait absolument impossible par nature. Pour Ganascia l’annonce apocalyptique induite par la Singularité ne relève pas de la rationalité, mais d’une approche d’ordre quasi religieux.

Pour le chercheur, l’ambition démiurgique de l’IA semble surtout reposer sur la manipulation symbolique de l’information. A force de répéter une promesse qui n’est jamais advenue, celle-ci est devenue mythe. En fait, si les machines sont capables de reconnaître des gens ou des objets sur des images mieux que nous, si elles sont capables de mieux jouer au Go que nous, si elles sont capables de mieux conduire que nous… c’est parce que les programmes leurs permettent de renforcer leurs connaissances. Elles savent mieux faire que nous ce que nous leur disons de faire, notamment parce qu’elles sont capables de traiter bien plus d’exemples que nous. Pour autant… une machine qui sait jouer au Go ne sait pas apprendre à chanter si on ne lui précise pas comment faire. Sans modèles, sans exemples, sans règles pour leur dire ce qu’elles doivent renforcer, les IA ne savent pas rêver de moutons électriques.

En fait, le catastrophisme des singularitariens assure surtout leur notoriété. L’inéluctabilité de leur prophétisme fait oublier que bien souvent, le vrai danger vient plutôt de l’inconnu. Le vrai problème, insiste Ganascia, c’est que le scénario de la Singularité, en fait, opacifie le futur en concentrant l’attention vers un seul scénario au détriment de tous les autres.

Pourquoi la Singularité connaît-elle un tel succès ?

Jean-Gabriel Ganascia pointe également combien les penseurs de la Singularité technologique confondent dans un grand récit des arguments rationnels et l’imaginaire. La Singularité n’étant pas un horizon : scientifiques et ingénieurs tirent leurs justifications de la science-fiction plus que de la science. La faute en grande part au financement de la recherche qui privilégie les projets capables de stimuler le rêve et donc, selon une boucle de rétroaction qui n’a plus grand-chose de vertueuse, les financements.

Jean-Gabriel Ganascia constate que le succès du mythe de la Singularité tient pour beaucoup à l’hubris, l’ivresse de la démesure des grandes sociétés du web. Nous sommes face à des gens qui ne voient aucune limite à leurs succès financiers, à leur esprit de conquête… Les succès technologiques qu’ils connaissent les encouragent : ils sont persuadés de posséder les clefs du futur. L’hypothèse de la Singularité est à la fois la rencontre entre l’éblouissement de leurs propres exploits, l’assurance de pouvoir les démultiplier encore et aussi de les maîtriser, d’en limiter les conséquences…

Pour autant, cette démesure est pour lui surtout le reflet de leur impuissance. Les grands industriels du web sont soumis aux utilisateurs, ce qui les empêche d’anticiper, se contentant d’observer et traduire du mieux qu’ils peuvent les désirs et besoins des utilisateurs. La fragilité de leurs empires nécessite en rebours un grand récit. L’inéluctabilité technologique est un moyen d’assurer leur propre inéluctabilité. Pour eux, « les technologies se déploient d’elles-mêmes », selon une loi universelle d’évolution dont la loi de Moore serait le modèle. Leur principal apport consiste à humaniser les technologies… d’où l’importance de l’éthique, des codes de conduite, des promesses sans cesse répétées de ne pas faire le mal !, souligne-t-il également.

Si l’ivresse du succès fait tomber toutes les barrières prédictives, les entreprises du web demeurent par nature fragiles. Pour Ganascia, nous sommes passés des entrepreneurs de l’ère industrielle qui imprimaient leur marque sur le monde à des entrepreneurs de l’ère hyperindustrielle qui ne sont pas responsables des évolutions qu’ils développent, qui tentent de suivre les besoins des utilisateurs dans un monde hyperconcurrentiel. Dans ce cadre, la Singularité est un moyen de masquer leur responsabilité, de nous faire croire que la technologie se déploierait de manière autonome. Enfin, la promotion de la Singularité cache également des enjeux politiques : ceux d’agendas d’entreprises libertariennes qui se construisent en rivalité avec les États Nations.

Nicolas Vanbremeersch, responsable du Tank et de l’agence Spintank demandait au chercheur pourquoi les acteurs du numérique s’étaient-ils ainsi emparés d’un tel récit mobilisateur ? Ce besoin d’un grand récit concurrentiel va de pair avec ce sentiment de pouvoir… d’entrepreneurs dont les capitalisations représentent des centaines de fois leurs chiffres d’affaires. Pour rester dans des situations de pouvoir, ils doivent proposer un grand récit, un récit fou, exagéré, prophétique qui semble d’ailleurs toujours plus développé. « On lève de l’argent avec un récit de disruption et de transformation du monde très élevé », qui s’apprend d’ailleurs… On est là dans une exagération et on se demande comment les États comme la Science peuvent reprendre la main ?

Effectivement, répond Jean-Gabriel Ganascia, les histoires sont un miroir au mirage que tous partagent. Les entreprises du numérique au début n’avaient pas de modèles économiques. La plupart de ces entreprises ont un modèle économique curieux où le service rendu est gratuit. L’économie ne semble même plus liée à la réalité. À se demander si la Singularité, finalement, n’entretient pas une peur pour en cacher d’autres, ne révèle pas une stratégie pour masquer les autres ?

Au final, la promesse Singularitarienne semble plus que d’autres une promesse auto-réalisatrice qui ne réalisera rien. Qui fait boursouffler un scénario d’avenir masquant les autres, empêchant de donner crédit à d’autres. « Le conte d’une fin du futur n’a pour objet que d’en détourner notre attention. » Comme s’il était devenu impossible de construire d’autres futurs que celui d’une croissance technologique apocalyptique…

Nous avons besoin d’être critiques sur les promesses technologiques

Une question reste en suspens néanmoins, comment des promesses sans cesse renouvelées, jamais atteintes, toujours repoussées comme la Singularité, finissent ainsi par créer du mythe, par s’imposer sans jamais se réaliser ?

On peut tenter de trouver quelques réponses dans l’excellent livre collectif dirigé par Marc Audétat, Sciences et technologies émergentes : pourquoi tant de promesses ?. Dans l’introduction, le chercheur, spécialiste de l’analyse des risques technologiques, souligne combien l’inflation des promesses scientifiques s’explique par les conditions mêmes de financement de la recherche, qui visent à amplifier leur propre production. Le marché de la promesse a fait naître celui de l’innovation, qui permet d’orienter et piloter l’avenir, de rendre le futur « performatif ». Les promesses sont des stratégies pour capter des ressources attribuées sur une base compétitive. Elles sont aussi des moyens pour légitimer et favoriser l’acceptation des technologies. Pour Audétat, nous sommes désormais dans un business des promesses, c’est-à-dire un régime d’investissement à court terme, peu compatible avec la diversité de la recherche ou la participation de la société, et qui laisse aux seuls mécanismes du marché le soin de sélectionner les innovations souhaitables. En fait, souligne le chercheur, davantage de promesses témoignent plutôt d’un déficit d’innovation qu’autre chose. Le mythe, cette promesse sans cesse renouvelée, réifiée, semble alors plus un symptôme qu’un remède. Et le secteur des nouvelles technologies n’arrête jamais de nous resservir les promesses qu’il nous a déjà servies, même si elles n’ont pas marché, comme s’il cherchait finalement à transformer toute promesse en mythe… Le mythe est un aboutissement, qui assure la reconduction et le succès des promesses.

Au final, on peut se demander avec Pierre-Benoît Joly, autre contributeur de cet ouvrage polyphonique, si ce qui transforme la promesse en mythe tient de l’idéologie, c’est-à-dire tient de ce qui soude l’identité du groupe et légitime le pouvoir. Les promesses fixent un horizon qui permet de légitimer les projets, de mobiliser les ressources et de stabiliser leur environnement. « Les promesses technoscientifiques ont pour fonction de créer un état de nécessité qui permet de cacher des intérêts particuliers ». Or, l’urgence et la gravité des problèmes, normalement rendent les promesses attractives et légitimes. Pourtant, la Singularité technologique ne répond à aucun problème grave ou urgent. Le fait même qu’elle soit toujours repoussée dans le temps, montre combien elle ne relève plus des promesses, ni même du battage, la hype. Plus qu’un mythe, la Singularité semble être restée à l’état de fiction.

Pour la philosophe et historienne Bernadette Bensaude-Vincent, les promesses visent non pas à prédire, mais à rendre inéluctable la trajectoire technologique, à installer un déterminisme, à faciliter l’acceptation sociale des technologies. Les schémas à l’oeuvre pour la Singularité semblent se répéter dans les promesses des nanotechnologies, de la biologie de synthèse comme dans celles de la convergence NBIC (Nanotechnologies, biotechnologies, informatique et sciences cognitives). Le possible devient un horizon hors de tout horizon temporel : une simple propagande. « La réalisation des promesses dans un avenir proche ou lointain n’est pas primordiale. » Les promesses n’ont pas pour but de refléter le réel, mais d’élargir les possibles, quand bien même ils ne rencontrent jamais de confirmation. « Même si les réalisations se font attendre les concepts ne sont pas remis en question. » Le futur qu’incarnent les promesses fonctionne surtout comme un outil de gouvernance pour la compétition économique. Elles permettent de fédérer et mobiliser les infrastructures de recherche et les inscrire dans la culture sociotechnique ambiante. Pour elle, l’avenir est confisqué par la promesse technoscientifique, et la politique reléguée à un seul espace de régulation.

Pour le sociologue Olivier Glassey, qui pointe dans l’ouvrage combien le social, plus que la technique est devenu l’horizon des technologies de l’information, l’ensemble des discours performatifs sur l’avènement du web social, contribue surtout à instaurer la croyance dans l’inéluctabilité des changements annoncés, que ce soit ceux promouvant l’empowerment ou l’inclusion de tous, comme ceux qui prédisent pouvoir bientôt « capturer techniquement le social ». « Le social n’est plus uniquement l’horizon de la promesse, il est son carburant » : les big data réalisent leurs propres accomplissements !

Image : « C’est très bien de « faire des découvertes », de « sauver des vies » et « d’améliorer le monde », Roger. Mais vos recherches ont à peine un impact sur les médias sociaux », par @TomGauld via AcademicSays.

Pour Marc Audétat, nous sommes confrontés à des cycles de crédibilité des sciences et technologies émergentes qui s’épuisent les unes les autres, s’ils ne parviennent pas à se transformer en mythes. Les contributions du livre sur les promesses montrent que dans nombre de secteurs comme la convergence des technologies (où nous serions plutôt dans une différenciation comme le souligne l’ouvrage Les masques de la convergence de Bernard Miège et Dominique Vinck) ou le rêve ultratechnologique de La médecine personnalisée pointée par le philosophe Xavier Guchet, ou encore les promesses des neurosciences… les promesses sont avant tout des instruments rhétoriques qui visent à garantir des financements. « Le régime compétitif explique en partie l’escalade des promesses et visions prospectives ». Et que celles-ci se révèlent bien souvent comme des substituts à une problématisation effective. Audétat pointe par exemple combien l’imagination suscitée par les nanotechnologies par exemple contraste avec la banalité des produits contenants des nanoparticules. L’enjeu semble plus d’inspirer des narrations depuis des réalités extrêmement différentes et souvent très banales. De créer de la popularité. Les promesses ne préjugent pas de la faisabilité ou de la plausibilité… « Un mythe est vrai parce que l’on y croit ». Pour Audétat, il nous faut étudier la performance des promesses. Pour lui, elles forment un genre à part différent de la prospective ou de la science-fiction… Mais est-ce si sûr finalement ? Les trois ne nous présentent-ils pas un futur technologique déjà écrit ? Les trois ne rendent-ils pas finalement le futur toujours plus opaque ?

Pour le philosophe et historien des sciences Sacha Loeve, qui livre une intéressante perspective sur la Loi de Moore proche de celle que l’on trouve dans le livre de Jean-Gabriel Ganascia, il nous faudrait nous ouvrir à un progrès sans promesses. Pour lui, « les véritables progrès des technosciences viendront moins de leur capacité à tenir leurs promesses que de leur capacité à s’en passer ».

Pas sûr pourtant que nous sachions nous passer de récits. À tout le moins, peut-on faire, comme nous y invite Jean-Gabriel Ganascia, une revisitation critique de leurs limites ? Mieux intégrer une critique qui manque cruellement dans le discours marketing du progrès autoréalisateur. Comme conclut le philosophe Arie Rip, l’enjeu semble surtout de contenir leur démesure, d’autant plus quand de promesses elles deviennent mythes. Bref, de garder une approche critique face à un récit technologique qui cherche toujours à construire son propre accomplissement.

Hubert Guillaud