De nombreux médicaments reçoivent une autorisation de commercialisation et sont largement prescrits alors qu’on ne sait pas très bien comment ils agissent. L’aspirine, découverte en 1897, n’a finalement été expliquée qu’en 1995. Le même phénomène existe pour bien d’autres médicaments et procédés médicaux… Pour le professeur de droit et d’informatique à Harvard Jonathan Zittrain (@zittrain), cette approche de la découverte, consistant à trouver des réponses avant les explications, crée une forme de « dette intellectuelle » explique-t-il dans une tribune pour le New Yorker… Mais c’est bien souvent la façon même dont la science avance ! Parfois nous remboursons rapidement la dette en découvrant rapidement le mécanisme sous-jacent, d’autres fois, la dette s’accroît plus longtemps… Il se pourrait que ce rapport étrange à la science – le fait que des choses marchent sans qu’on les comprenne – aille demain au-delà de la médecine.
L’apprentissage automatique fonctionne sur ce principe, explique Zittrain. Le machine learning identifie des modèles dans des océans de données sans livrer d’explications sur leurs fonctionnements. En donnant à un réseau de neurones des dossiers médicaux, il pourra par exemple vous prédire la probabilité de décès d’un patient mais sans en fournir la cause. Ces moteurs de corrélation statistique ne peuvent pas expliquer pourquoi – ils ne « pensent pas » ! -, ils se contentent de répondre. Et au fur et à mesure que nous intégrons leurs principes dans des systèmes, nous accumulons une dette de compréhension…
Pourtant, argumente-t-il, la médecine notamment nous a montré que le fait que nous ne sachions pas pourquoi cela marche n’était pas une raison pour refuser une innovation. Peu de personnes refuseraient de prendre une aspirine parce que nous ne savons pas comment ça marche. Reste que les médicaments dont les mécanismes d’action sont inconnus nécessitent, en contrepartie, bien plus de tests et de précautions que les autres, notamment pour tenter de comprendre leurs effets indésirables, souligne Zittrain. Leurs effets secondaires sont bien souvent découverts après leur mise sur le marché et amènent parfois à leur abandon…
La dette intellectuelle que nous sommes en train de créer autour de l’IA comporte des risques différents des tâtonnements de la médecine, explique le professeur de droit. Étant donné que la plupart des modèles d’apprentissage automatique ne peuvent pas s’expliquer, nous ne pouvons pas savoir s’ils se trompent si nous n’avons pas déjà un jugement sur les réponses qu’ils fournissent. Il suffit de très légères modifications sur les images – au niveau de pixels, invisibles aux humains – pour qu’une IA, comme le moteur d’analyse d’image de Google, Inception, prenne des photos de chats pour du guacamole. Le fait que ces systèmes soient sensibles à des vulnérabilités inconnues les rend très fragiles par nature. Des IA peuvent être entraînées avec succès pour classer des lésions cutanées bénignes ou malignes, mais des procédés dits d’attaques adversariales (ou contradictoires) peuvent facilement invalider leurs résultats. Pour Jonathan Zittrain, cela pose des questions difficiles sur les processus de validation des réponses que ces systèmes produisent qui nécessitent des surveillances constantes.
Pour le professeur de droit, nous devons peut-être envisager de créer un contrepoids à cette dette intellectuelle, c’est-à-dire un système de suivi et de surveillance de l’utilisation des « connaissances sans théories ». Si je comprends bien, il propose de délimiter un moyen pour surveiller les systèmes fragiles, altérables… Pour lui, cela nécessite d’ouvrir les secrets commerciaux qui président à ces systèmes, afin d’examiner les choix de traitements, les données utilisées, d’évaluer leur taux d’erreur, leur risque de vulnérabilité… Mais la croissance de ces systèmes, leur omniprésence et surtout leur interconnexion, rend cette surveillance toujours plus difficile, prévient-il. À mesure que de plus en plus d’entreprises façonnent et exploitent ces traitements, les interconnectent, de plus en plus loin de la recherche, la surveillance des fragilités de ces systèmes devient plus difficile.
En décembre 2018, rapporte Zittrain, le biologiste Mohammed AlQuraishi (@moalquraishi), spécialiste du pliage des protéines, a rendu compte de la victoire de DeepMind sur les chercheurs du secteur. Les machines d’apprentissage automatique de DeepMind – et son programme dédié, AlphaFold – ont battu tous les participants à une compétition de pliage des protéines. Non seulement la foule, qui était depuis longtemps pleinement associée à ces recherches (voir « Le succès de Foldit : jouer pour la science » et « Les joueurs au secours de la science »), mais également les chercheurs eux-mêmes, comme l’expliquait The Guardian. Lors de cette compétition, l’enjeu était de prédire les structures des protéines à partir de la liste de leurs acides aminés. AlphaFold a battu toutes les équipes, parvenant à prédire la structure précise de 25 protéines sur 43, quand les équipes humaines n’en ont au mieux prédit que 3.
AlQuraishi a déploré cet échec de la théorie sur les données, cet échec de l’esprit des chercheurs sur la puissance des machines. Pourtant, explique encore AlQuraishi : « C’est un peu idiot de penser que nous serons toujours les créatures les plus intelligentes de la planète. Nous serons un jour dépassés par les machines. Dans l’intervalle, je soupçonne que la modélisation des phénomènes naturels sera de plus en plus construite par des machines.
Ce qui est intéressant, c’est que lorsque nous franchirons ce seuil (et d’une certaine façon, nous y sommes déjà), nous arriverons à un point où les modèles que nous avons construits seront totalement incompréhensibles pour nous. Cela soulèvera des questions sur la nature de l’entreprise scientifique. Qu’entendons-nous par « faire de la science » ? La science consiste-t-elle à comprendre les phénomènes naturels ou à construire des modèles mathématiques qui permettent de prédire ce qui va se passer ? »
Les machines sont en train de faire des découvertes plus rapidement que la science, au risque de rendre la théorie superflue (comme le prédisait déjà Chris Anderson dans « la fin de la théorie » en 2008), estime encore Zittrain. La connaissance risque de devenir moins précieuse que l’exécution, c’est-à-dire que la création de modèles fonctionnels. Sommes-nous en train d’assister à un changement de paradigme ? Entrons-nous dans un monde de connaissances sans compréhension, où l’intelligence des machines va prendre le contrôle ?
Zittrain entr’ouvre une dernière béance dans cette perspective d’une société impénétrable : celle que ces technologies fonctionnent ! « Une grande partie de la critique opportune de l’IA s’est concentrée à juste titre sur les façons dont elle peut se tromper : comment elle peut créer ou reproduire des préjugés, faire des erreurs ou être utilisée à des fins malhonnêtes… Mais nous devrions aussi nous inquiéter de ce qu’il se passera quand l’IA aura raison. » Le problème de ce raisonnement, c’est que nous ne pourrions bien ne pas le savoir ! Car si on imagine, comme le suggère Zittrain un système de classement parfait pour attribuer des élèves au collège ou au lycée, qui optimiserait à la fois les élèves au niveau des classes, aux professeurs, aux autres élèves… nous resterions interdits de savoir ce qu’aurait donné un autre classement, un autre agencement, puisque nous devrions nous fier au seul calcul de la machine. Par définition, une société incapable d’énoncer ses choix, de justifier ou motiver ses décisions…, comme s’en inquiétait la chercheuse et philosophe Antoinette Rouvroy, n’a rien d’une société ! Zittrain semble tomber dans le piège du rêve perfectionniste de la technique, un fantasme logique qu’on a toujours projeté dans les machines, oubliant son inhumanité même. Judea Pearl ne disait pas autre chose dans son livre, The book of Why, dont nous parlait Rémi Sussan. Comme le pointait le philosophe Tim Maudlin en conclusion de sa critique du même ouvrage dans la Boston Review, « nous ne sommes pas de simples observateurs passifs du monde »… Nous avons besoin de déchiffrer le monde pour agir, sans quoi toute action serait dénuée de sens. Un monde qui nous reste incompréhensible, n’est pas un monde, même s’il se révèle trop complexe pour que nous le comprenions pleinement – c’est-à-dire bien moins linéaire et déterministe qu’on le souhaiterait !
Zittrain oublie enfin une autre chose. Si souvent les choses marchent sans qu’on les comprenne, il ne faut peut-être pas oublier que plus souvent encore, les choses ne marchent pas. C’est notamment le cas en médecine justement… comme le soulignait le livre Ending medical reversal (Pour en finir avec les voltefaces médicales, Johns Hopkins University Press, 2015, non traduit) des médecins Vinayak Prasad et Adam Cifu. Dans ce livre-choc, les deux médecins rappelaient, avec quelques 150 exemples documentés, que bien des traitements et conseils que les docteurs délivrent aux patients sont bien souvent au mieux inefficaces au pire dommageables. Certes, la science s’écrit en marchant, pourtant, bien des interventions médicales ou chirurgicales se révèlent inutiles, en tout cas quand on mesure leur efficacité, et n’améliorent ni la santé ni la survie des patients. « Souvent, l’étude de la façon dont les thérapies devraient fonctionner est beaucoup plus approfondie et précède l’étude de l’efficacité des thérapies », rappellent les chercheurs. Trop souvent, les voltefaces médicales sont la conséquence d’une adoption sans base de preuve robuste. Bien souvent, « des thérapies passent de mode non parce qu’elles ont été remplacées par quelque chose de mieux, mais parce qu’on a constaté qu’elles ne fonctionnaient pas (ou du moins pas mieux que la thérapie standard précédente ou que la pratique moins invasive précédente) ». Pourtant, soulignent les médecins, toutes les pratiques répandues et inefficaces ne sont pas toujours abandonnées même quand on démontre leur inefficacité, comme le dépistage généralisé du cancer du sein chez les femmes après 40 ans. Alors certes, attendre les justifications scientifiques pour utiliser de l’aspirine pour soulager des maux de tête n’aurait peut-être pas été efficace, mais attention à ne pas faire de ce qui relève peut-être plus d’une exception une règle.
Même dans le champ médical, l’IA a montré qu’elle portait plus de limites que de bénéfices. Le risque d’une IA qui fonctionne parfaitement et sans biais tient pour l’instant et certainement pour longtemps bien plus du rêve que de la réalité. Certes, elle va se révéler bien meilleure que nous dans chaque champ où elle va se déployer, mais en amplifiant les biais des signes qu’elle prendra pour des signaux. Et contrairement à nous, elle ne peut pas faire de sa performance société.
Hubert Guillaud
