En août 2018, des chercheurs de l’Institut Allen pour l’intelligence artificielle, un laboratoire basé à Seattle, ont dévoilé un test de compréhension pour ordinateurs (.pdf). Ce test vise à examiner si les machines sont capables de compléter des affirmations très simples depuis un QCM, comme :

« Sur scène, une femme prend place au piano. Elle
a) s’assoit sur un banc pendant que sa sœur joue avec la poupée.
b) sourit avec quelqu’un pendant que la musique joue.
c) est dans la foule, regarde les danseurs.
d) pose nerveusement ses doigts sur les touches. »

Ce type de test est assez facile pour nous, humains, mais bien plus difficile pour les machines qui peinent à comprendre le langage naturel, explique Cade Metz pour le New York Times. Alors que nous répondons correctement à 88 % des questions, les bonnes réponses des systèmes d’IA oscillent plutôt aux alentours de 60 %. Mais depuis Google a dévoilé une nouvelle technologie (.pdf), appelée Bert (publiée en open source), qui répond aussi bien que les humains, sans que ce système ait été conçu pour passer le test. Ces nouveaux outils (comme celui construit par OpenAI (.pdf)) apprennent en analysant des millions de phrases écrites par des humains. La technologie d’OpenAI est capable de deviner le mot à venir d’une phrase et Bert capable de deviner les mots manquants n’importe où dans une phrase. Ce dernier est également capable de comprendre les relations fondamentales entre les mots, estime Jacob Devlin, le chercheur de Google qui a supervisé sa création. Bert apprend à répondre seul aux questions et trouve la réponse de bon sens à une question, comme de répondre à des questions de type encyclopédique (« qu’est-ce que l’oxygène ? », par exemple, ou estimer l’avis positif ou négatif d’une critique de film…).

Bien que Bert ait réussi le test du « sens commun » de l’Institut Allen, les machines sont encore loin d’approcher le sens commun des humains, tempèrent les chercheurs, même si les progrès dans le domaine de la compréhension du langage naturel sont rapides. En tout cas, la quête du sens commun permettant de donner aux machines une connaissance du monde est toujours d’actualité ! A l’heure où l’IA se répand dans toujours plus de domaines applicatifs, le fait qu’elle fasse des erreurs enfantines n’est pas sans poser problèmes alors qu’elle est amenée à gérer des situations de plus en plus critiques, comme de gérer des diagnostics médicaux, rappelle la Technology Review. La DARPA s’est d’ailleurs attaqué au sujet en lançant un concours, le programme Sens commun des machines. Pour Dave Gunning, responsable du programme de la DARPA, l’acquisition du bon sens est assurément la nouvelle frontière des systèmes intelligents.