Comment comprendre le raisonnement des IA ? Cela semble bien devenir la grande question des prochaines années, et nous avons déjà mentionné dans nos colonnes certaines tentatives visant à comprendre le fonctionnement de ces systèmes souvent opaques.

Le New Scientist nous présente une nouvelle méthode, créée par Christopher Grimm, de l’université Brown à Providence. La technique consiste à créer une seconde IA qui supervisera le travail de la première. Ainsi, dans un programme de reconnaissance d’images, ce « superviseur » introduira du bruit blanc sur la figure à analyser, pour voir si cela affectera les capacités de reconnaissance de la machine. Si la présence de la partie « bruitée » ne change rien à la décision du logiciel, c’est qu’elle n’a pas utilisé les informations cachées pour effectuer son analyse.

L’équipe de Grimm a pu ainsi découvrir que si l’on présentait à l’IA observée l’image d’un cheval, celle-ci se concentrait d’abord sur la présence de pattes. Puis cherchait la tête. Pour un cerf, la machine commençait de la même manière, puis cherchait spécifiquement la présence des bois. Elle ignorait, en revanche, toute les portions de l’image qui ne seraient pas susceptibles de contenir une information déterminante.

Le système fonctionne de la même manière avec un document écrit ; la seconde IA masque certains mots et voit si cela change ou non le processus de décision de la première IA (rappelons qu’une récente recherche a montré qu’une simple « coquille » dans un texte suffisait pour faire déraper complètement l’analyse d’un programme).

Le système de Grimm a permis également de voir comment une IA peut se tromper. Ils ont fait jouer l’une d’entre elles à l’antique jeu Pong, et ont analysé une fois de plus comment l’IA cherchait l’information. Les chercheurs ont ainsi pu découvrir que cette dernière se concentrait sur la colonne ou se trouvait la raquette et ignorait de grandes portions de l’écran. En général, cela suffit pour un jeu de Pong simple, mais que se passe-t-il si on place deux raquettes et non une seule ? Si elles se trouvent toutes les deux sur la même colonne, pas de problèmes. Mais si l’une d’entre elles se trouve plus avancée sur l’écran, le système à tendance à prendre la seconde raquette pour une balle.

Le papier original est librement disponible sur ArXiv.