On connaissait le problème en psychologie. Bon nombre d’expériences effectuées dans cette discipline ne sont pas reproduites, ce qui fait qu’on ignore si les résultats obtenus dans l’expérience originale sont réels, dus au hasard ou la conséquence d’un protocole mal pensé.

Mais on ne s’attendait pas à ce qu’un domaine comme l’IA connaisse les mêmes difficultés. Après tout, ce doit être facile, de reproduire le comportement d’un programme autant de fois qu’on le désire !

Sauf que non. Encore faut-il que la réplication soit simplement possible : autrement dit, que de nouvelles équipes de chercheurs puissent disposer du programme à tester.

Comme le rapporte le magazine Science (relayé par le site Futurism), le chercheur Odd Erik Gundersen a signalé, lors d’une conférence qui s’est récemment tenue en Louisiane, que sur 400 algorithmes présentés lors de deux conférences sur l’IA, seulement 6 % incluaient le code source du programme. Un tiers fournissait les data utilisées pour tester le programme ; et la moitié décrivait l’algorithme de manière succincte, en utilisant un pseudocode.

Pourquoi un tel déficit d’information ? Selon Science : « Le code peut être en cours d’élaboration, propriété d’une entreprise, ou gardé secret par un chercheur désireux de rester en tête de la compétition. Il peut dépendre d’un autre code, lui-même non publié. » Ou encore pire, précise la revue, il peut être tout simplement perdu, à la suite d’un crash d’ordinateur ou de disque dur, ce que le chercheur français Nicolas Rougier résume malicieusement par la formule : »le chien a mangé mon programme ».

Les choses se compliquent avec le machine learning, car pour répliquer une expérience, il faut avoir non seulement accès au code, mais également aux data. Et même cela ne suffit pas, il y a d’autres paramètres à prendre en compte. Par exemple les nombres aléatoires générés à des fins de test. Ou encore, ce que Science nomme des « hyperparamètres » : c’est-à-dire des informations de contexte qui ne font pas partie du coeur de l’expérience, mais qui peuvent néanmoins influer sur les résultats du programme.

C’est ce qu’a montré, au même meeting de Louisiane, Peter Henderson, chercheur à l’université McGill, avec des systèmes d’IA apprenant par la classique méthode des essais et erreurs. Il a montré une petite figure humanoïde virtuelle, qui devait petit à petit apprendre à se déplacer dans son environnement. Dans certains tests, le « robot » apprenait à courir, dans d’autres il s’écrasait lamentablement sur le sol.

Existe-t-il des solutions ? Science mentionne plusieurs initiatives qui permettraient d’obtenir des résultats plus fiables. La revue nous présente ainsi Gym, une boite à outils open source destinée à « développer et comparer les algorithmes d’apprentissage ». Selon John Shulman, un chercheur travaillant pour OpenAI qui a participé à la conception de Gym : «Avant Gym, beaucoup de gens travaillaient sur l’apprentissage par renforcement, mais chacun préparait son propre environnement pour ses expériences, ce qui rendait difficile la comparaison des résultats entre les différents papiers».

Autre direction, le site openML créé par le scientifique néerlandais Joaquin Vanschoren. OpenML rend disponibles les algorithmes, les data, mais aussi plus de 8 millions de résultats obtenus.

IBM, de son côté, a mis au point un outil permettant de recréer du code à partir d’un papier présentant l’algorithme de manière succincte. Il s’agit d’un réseau de neurones analysant un papier de recherche, y repérant des diagrammes ou des schémas, et recréant à partir de celui-ci un réseau de neurones correspondant au dessin.

Enfin, Science mentionne une revue nommée Rescience à la création de laquelle à participé Nicolas Rougier, et qui est uniquement consacrée à la réplication. Mais même Rescience a reçu essentiellement des papiers sur des réplications positives. Comme c’est le cas dans les sciences sociales, les chercheurs hésitent en effet à publier des papiers aboutissant à des conclusions négatives…