L’une des applications phares de Watson, le système d’intelligence artificielle d’IBM a longtemps été la fouille de données médicales et l’analyse des corpus d’articles de recherche sur le cancer. Force est pourtant de constater que les résultats annoncés ne sont pas au rendez-vous estime une remarquable enquête de Stat News (@statnews) menée par Casey Ross (@byCaseyRoss), leur spécialiste santé, et Ike Swetlitz (@ikeswetlitz), leur spécialiste des questions politiques.
En fait, soulignent les journalistes, si Watson semble toujours prometteur, la plateforme d’intelligence artificielle d’IBM consacrée à la recherche médicale contre le cancer, 3 ans après son lancement, en est encore à tenter de distinguer les différentes formes de cancer. La cinquantaine d’hôpitaux à travers le monde qui ont adopté le système sont loin d’avoir permis à IBM de dominer le marché. Et dans les hôpitaux étrangers, les médecins se plaignent des biais du système. IBM n’a d’ailleurs publié aucun article scientifique démontrant l’impact de Watson. En fait, les journalistes estiment que, contrairement aux promesses, Watson n’a pas créé de nouvelles connaissances. Pire, il aurait même du mal à s’adapter aux nouvelles connaissances : sa grille d’analyse de contenus le poussant plutôt vers des conclusions prenant en compte beaucoup de données plutôt que les plus à jour. Pire encore, soulignent-ils, malgré son utilisation dans nombres d’industries, Watson n’a pas réussi à inverser la baisse de revenus d’IBM depuis 21 trimestres d’affilés (au dernier trimestre, les revenus de la division solutions cognitives d’IBM, construite autour de Watson et qui est censée être l’avenir des activités de l’entreprise, ont eux-mêmes diminué par rapport à l’an dernier rapportent-ils).
L’article de StatNews est riche d’exemples et de retours de praticiens qui l’utilisent. Il évoque par exemple les réponses de Watson sur les données d’un patient recommandant une chimiothérapie que les oncologues avaient déjà recommandé. Si le système a indiqué des articles de recherche pertinents, il n’a pas aidé à prendre une décision ni n’a proposé d’informations que les médecins ne connaissaient pas. Bien sûr, tout le long de l’enquête, IBM qui a visiblement été invité à réagir aux attaques se défend en soulignant que Watson en est encore à un stade d’apprentissage et qu’il a besoin de plus de données pour s’améliorer… un argument de légitimation on ne peut plus classique.
Plusieurs médecins soulignent que le manque d’évaluation scientifique de l’efficacité de Watson pose problème. Certes, Watson – sur la gamme de cancers parmi les plus courants qu’il sait analyser – donne des recommandations de soins souvent assez proches des méthodes existantes, les mêmes que celles que recommandent les médecins. Mais pas tout le temps. A nouveau, s’il est compétent pour appliquer des méthodes reconnues, pour l’instant, le système n’a pas fait la démonstration de sa capacité à les améliorer comme l’a promis IBM. Le problème, soulignent les praticiens, n’est pas tant la première recommandation d’un scénario clinique que les suivantes, et notamment les cas de traitements secondaires, après que la première recommandation ait échoué, comme c’est le cas par exemple après l’échec d’une chimiothérapie particulière. Le système a alors bien plus de mal à faire une recommandation – tout comme le consensus entre professionnels qui est d’ailleurs beaucoup moins marqué. Au Danemark, les oncologues d’un hôpital ont déclaré avoir abandonné le projet d’avoir recours à Watson après avoir constaté que les médecins locaux n’étaient d’accord avec Watson que seulement dans 33 % des cas.
Ceux qui ont travaillé avec Watson expliquent également que le système a beaucoup de mal à comprendre les dossiers médicaux des patients : qu’il faut passer du temps pour détailler les acronymes, corriger les erreurs, les phrases abrégées… bref, mettre en forme l’information pour que la machine puisse les interpréter sans erreurs. Hors des Etats-Unis, plusieurs médecins se plaignent du fait que Watson privilégie les études et recommandations américaines (et notamment celles du Centre contre le cancer du Memorial Sloan Kettering, qui est l’établissement majeur avec lequel travaille Watson) sans que les utilisateurs d’autres pays puissent apporter des corrections par exemple sur les doses plus faibles de médicaments que beaucoup recommandent pour minimiser les effets secondaires – ainsi que parfois pour des raisons de moyens. En Corée du Sud par exemple, les chercheurs ont indiqué que le traitement que Watson recommandait le plus souvent pour les patients atteints de cancer du sein n’était tout simplement pas couvert par le système d’assurance national… Un autre oncologue souligne que si Watson fournit des preuves à l’appui de ses recommandations (notamment des études), il n’explique pas comment ni pourquoi il recommande un traitement particulier à un patient particulier. Et l’oncologue d’évoquer l’exemple où Watson a recommandé une certaine chimiothérapie pour un cancer qui ne s’est pas propagé à des ganglions lymphatiques en s’appuyant sur une étude qui montre l’efficacité dudit traitement chez les patients dont le cancer s’est propagé aux ganglions lymphatiques… Faut-il voir là une approximation ou une recommandation ? Et comment les médecins peuvent-ils en juger ?
Reste que Watson n’a pas que des défauts. Plusieurs utilisateurs interrogés par le StatNews signalent que le système fournit bien souvent les meilleures données de la littérature scientifique sur les traitements. Il permet également de mieux discuter des options possibles avec les patients et entre médecins, leur fournissant du matériel pour discuter en connaissance de cause des différentes options qui s’offrent à eux, des taux de réussites probables… Mais le système est loin d’être aussi parfait et infaillible que ne le vend le marketing d’IBM.
En lisant en détail les critiques de StatNews, on constate en tout cas combien ce programme, du fait des enjeux qu’il porte, demeure très encadré, très interrogé, accompagné et très surveillé… Comme le concluent les auteurs de l’enquête, l’accompagnement de l’IA est et demeure primordial. Nous sommes loin d’un système expert infaillible et que faire parler des données hétérogènes ne produit pas nécessairement facilement de nouvelles connaissances. La Watsonisation de la santé n’est pas si simple… Et IBM pourrait devenir la première victime du succès marketing de Watson, c’est-à-dire des attentes un peu irréalistes que la firme a fait naître chez ses clients.
Pour le consultant Peter Greulich, ancien responsable d’IBM et auteur de plusieurs ouvrages sur l’histoire d’IBM, IBM s’est fait dépasser par son marketing autour de Watson, sans parvenir à contrôler et à construire son produit. Pour lui, l’investissement d’IBM dans Watson est insuffisant. Dans les années 60, ses investissements en R&D étaient bien plus élevés qu’ils ne le sont aujourd’hui avec Watson. Par rapport à ses concurrents (Amazon, DeepMind de Google, Microsoft, ou Optum de UnitedHealth…) IBM perd du terrain sur la question de l’IA rappelle également, dans un article au vitriol, Jennings Brown pour Gizmodo.
A l’heure où la firme tente de diversifier les champs d’expertise de Watson, force est de constater que l’article de StatNews pointe bien des limites, qui ne sont d’ailleurs pas propres à Watson. Bien des critiques qui sont faites à Watson ressemblent à celles qu’on entend ailleurs : pointant des questions de compréhension du fonctionnement des systèmes, d’intelligibilité, de symétrie d’information, d’ouverture et d’accès aux paramètres.
Comme nous le pointions dans les pistes d’innovation du groupe de travail NosSystèmes de la Fing, Watson, pas plus que d’autres systèmes d’IA, n’en fera visiblement l’économie.
MAJ : Le Monde livre un long papier sur Watson, qui pointe également le fait que l’IA soit difficilement industrialisable et nécessite un apprentissage spécifique (et coûteux) pour chaque champ d’application. Dommage que l’article ne pointe pas également les limites intrinsèques de Watson.
MAJ : StatNews livre de nouvelles révélations sur Watson Oncology, en provenance d’une étude interne, qui montre que des médecins ont découverts que les recommandations de Watson pouvait se révéler dangereuses pour les patients.
MAJ du 19/07/2021 : Pour le New York Times, Steve Lohr revient sur l’histoire de Watson et souligne que désormais, Watson est devenue une IA comme les autres, incapable de changer le monde, juste de le rationaliser un peu plus !