Le problème de l’apprentissage automatisé et des réseaux de neurones, principales techniques faisant tourner les programmes d’intelligence artificielle, repose sur le fait que même pour ceux qui les programment, leurs résultats sont souvent inexplicables. C’était le constat que dressait déjà Wired il y a quelques mois. C’est le même que dresse Nautilus. La difficulté demeure d’expliquer le modèle, estime le chercheur Dimitry Malioutov, spécialiste du sujet chez IBM. Ces programmes utilisent des données pour y trouver des schémas, mais même ceux qui les programment ont du mal à expliquer comment ils fonctionnent. Ce qui signifie à la fois qu’on a du mal à prédire leurs échecs et que leurs résultats sont difficilement interprétables… Alors que l’Union européenne vient de se prononcer pour un droit à l’explication des décisions automatisées, permettant aux citoyens de demander une forme de transparence des algorithmes, reste à savoir ce que signifie exactement cette transparence. Doit-elle être une explication ou une appréciation de sa complexité ?
Pour David Gunning de la Darpa, les progrès récents et rapides de ces technologies… soulignent un paradoxe : l’exactitude de la prédiction de certaines techniques est inversement proportionnelle à leur explicabilité. L’utilisation d’arbres de décision par exemple permettent une meilleure explicabilité, mais ils se révèlent moins exacts dans leur capacité prédictive que l’apprentissage profond, qui donne de très bons résultats en terme de prédiction tout en restant obscur sur son fonctionnement. Choisir entre le pourquoi et le quoi, risque d’être assez difficile…
La perspective de mieux comprendre le fonctionnement des techniques d’intelligence artificielle n’est pas désespérée. Plusieurs chercheurs travaillent à comprendre les réseaux profonds en utilisant des techniques issues de la recherche en biologie, consistant à sonder les données et regarder comment le système se modifie quand on les fait évoluer, voir en en supprimant pour mesurer comment l’ensemble compense. L’article de Nautilus détaille plusieurs travaux qui visent à comprendre le fonctionnement des réseaux de neurones, assez difficile à comprendre pour qui n’est pas spécialiste.
Pour Zachary Lipton, l’entreprise consistant à la fois à interpréter les réseaux neuronaux et la capacité à vouloir construire des modèles d’apprentissage automatisé interprétables est peut-être une erreur. A la dernière conférence internationale sur le machine learning, il a pointé le fait que ce pourrait être la question de l’interprétabilité elle-même qui pose problème. Pour lui, l’interprétabilité empêche les chercheurs d’utiliser ces technologies à leur plein potentiel. Il rappelle que la discipline consiste plutôt à construire des modèles qui peuvent apprendre d’un très grand nombre d’éléments clefs, plus que ceux que les hommes peuvent se représenter. Cette capacité est à la fois une caractéristique et un défaut de la discipline. Si nous ne comprenons pas comment les résultats sont générés, nous ne comprendrons pas quelles données en entrée sont nécessaires ou lesquelles doivent être considérées comme des entrées.
Pour Sanjeev Arora de Princeton, l’absence d’interprétabilité a des conséquences fâcheuses. La première est la « composabilité » permettant d’ajuster les éléments qui permettent à un système de fonctionner : si on ne sait pas ce qui influe sur le résultat, on ne sait pas quelles données sont utiles ou pas. La seconde est l’adaptabilité, c’est-à-dire la capacité à appliquer avec souplesse les connaissances acquises dans un contexte à un autre contexte, par exemple un réseau entraîné à analyser le langage humain depuis Wikipedia peut complètement échouer à s’adapter à un autre contexte, comme Twitter.
Pour Marvin Minsky, qui fut l’un des pères de l’Intelligence artificielle, l’interprétabilité est un mot valise, qui, comme beaucoup d’autres, pose plus de problème qu’il n’en résout. Si les chercheurs semblent confiants à l’idée de découvrir des principes qui font fonctionner le machine learning, définir l’nterprétabilité pose à son tour un problème. Pour être interprétable, un modèle doit rester simple. Mais qu’est-ce alors qu’un modèle simple ? Est-ce un modèle qui se fonde sur un petit nombre de caractéristiques ? Un modèle qui fait des distinctions fortes ? Est-ce un modèle le plus basique possible ?…
Reste que motiver les décisions demeure pourtant la seule façon de faire société, comme le rappelait la philosophe Antoinette Rouvroy. Il faut donc que les chercheurs en IA s’intéresse à ce sujet et pas seulement à la fascinante capacité de leurs machines à analyser ce qu’elles observent.