La messe semble dite. La connaissance devrait désormais progresser par la multiplication des données et leur traitement statistique. Au point que certains – et non des moindres – déclarent désormais dépassée la bonne vieille méthode scientifique. Les Big Data vont nous permettre de nous passer de théories, semble-t-il. Mais les statistiques sont loin d’être un outil facilement maniable, et les pièges méthodologiques ne manquent pas.

Des vérités que les adeptes contemporains du Quantified self risquent d’apprendre à leur dépends s’ils décident se fier un peu trop facilement aux diverses études concernant la santé. Ainsi ces dernières semaines, la presse internationale (y compris française, c’est dire !) a donné un large écho à plusieurs études : la première affirmait que le chocolat pouvait faire maigrir, tandis que la viande rouge abrégeait notre durée de vie. Plus récemment encore, on a appris que le café augmentait la longévité. Gary Taubes, auteur de plusieurs ouvrages sur les sciences, dont Good calories, bad calories (un livre plus « vulgarisateur », FAT a même été traduit en français) s’est penché dans Discover Magazine sur la valeur de ce genre de travaux.

Les biais multiples nuisent à l’observation

L’auteur remarque que ces études peuvent être considérées comme appartenant à une branche nommée « épidémiologie observationnelle » qu’il considère « plus proche de la pseudoscience que de la science réelle ».

Se reposant sur les travaux du philosophe et épistémologiste Karl Popper, Taubes rappelle que « la méthode scientifique consiste à faire des conjectures audacieuses puis à trouver des moyens exigeants et ingénieux pour les réfuter. »

L’observation selon laquelle la viande rouge pourrait réduire la durée de vie est une de ces « conjectures audacieuses », explique Taubes.

« Tout le monde peut faire des conjectures audacieuses, poursuit-il. Par exemple, « les extraterrestres causent des maladies cardiaques »… La difficulté, c’est de mettre au point les moyens audacieux et sérieux pour les réfuter ».

Comment fonctionnent ces études basées sur l’observation ? On prend des milliers de sujets, on leur fait remplir un questionnaire, et on les suit sur plusieurs années.

L’une des premières causes d’erreurs dans ce genre de travaux est la confusion des causes. Ainsi, si l’on prend une échelle allant des végétariens purs et durs aux consommateurs quasi exclusifs de viande rouge, on observe que les autres facteurs de mortalité augmentent dans la même proportion que les habitudes carnivores. Autrement dit, plus on consomme de viande, plus on fume, on boit, on est sédentaire, etc. Difficile dans ces conditions d’isoler la viande rouge comme le facteur limitant la longévité.

Image : un petit strip de Randall Munroe : « Je pensais que la corrélation impliquait la causalité. J’ai pris un cours de statistiques et maintenant je ne le pense plus. Visiblement le cours a aidé. Euh… Peut-être ».

Taubes cite un autre biais souvent ignoré : celui de « conformité ». Il l’illustre par l’exemple suivant. Une expérience effectuée sur un médicament pour le coeur, réalisée avec toutes les précautions nécessaires (autrement dit avec un groupe témoin utilisant des placebos) s’était révélée un échec, et les chercheurs en avaient déduit l’inefficacité du produit en question. Pourtant, ils n’en sont pas restés là et se sont demandé qui, parmi les sujets, avait réellement suivi la prescription médicale. Ils ont alors découvert, à leur grande satisfaction, que les patients qui avaient suivi scrupuleusement le protocole avaient en effet bénéficié d’une longévité accrue par rapport aux autres, plus dilettantes. Cela aurait suffi à montrer que finalement le médicament était efficace, poursuit Taubes, mais les chercheurs ne se sont pas arrêtés là et ont découvert que les consommateurs « réguliers » du placebo voyaient eux aussi leur santé s’améliorer dans de fortes proportions ! Taubes attribue cela au fait que les usagers du placebo, comme les autres se montraient plus prompts à suivre les recommandations de leur médecin. Un paramètre difficile à évaluer lorsqu’on effectue de simples observations.

Une autre source d’erreur possible est liée au pourcentage constaté. Les études sur la viande rouge montrent que la mortalité accrue est de l’ordre de 20 %. Un tel chiffre est quasiment insignifiant. Surtout si on le compare avec le tabac : un fumeur a 20 fois plus de chances qu’un non-fumeur d’avoir un cancer du poumon. Autrement dit, le risque impliqué par la viande rouge est 100 fois plus petit que celui constaté avec le tabac. Une si petite association n’est guère significative, affirme Taubes. Alors que l’observation simple suffit à établir la dangerosité du tabac, à cause de l’importance de la mortalité qui y est associée, ce ne peut être le cas pour la viande rouge.

La troisième possibilité d’erreur n’est autre que la confusion de la cause et de la conséquence. Le chocolat aide-t-il vraiment à maigrir ? Peut-être, au lieu de penser, argue Taubes, que les mangeurs de chocolat ont tendance à être plus maigres, devrait-on considérer que les gens maigres mangent plus facilement du chocolat, parce qu’ils savent qu’ils peuvent se le permettre. Les gens plus gros, eux, n’ignorent pas que le produit aura pour eux des conséquences négatives. Et je peux confirmer le soupçon de Taubes sur ce point. Je connais quelqu’un qui se nourrit essentiellement de Granola et qui ne prend jamais un gramme. Un régime que je ne pourrai certainement jamais me permettre.
Pour Taubes, ces expériences fondées sur l’observation pure ne constituent en rien de la vraie science, qui se base non sur des observations nues, mais sur des expériences.

« Nous disposons au moins de deux moyens raisonnables d’expliquer l’association minuscule entre la consommation de viande et la mortalité accrue. La première est qu’elle est causée par la viande elle-même. L’autre par les comportements qui sont associés à la consommation de viande. Donc, la solution serait de faire une expérience pour voir qui a raison. Commencez avec une cohorte de sujets et affectez-les au hasard à un groupe qui mangera, soit un régime riche en viande rouge et en viande préparée, soit à un régime pauvre en viande – un régime essentiellement végétarien. En distribuant les sujets au hasard dans chacune de ces deux interventions, nous pouvons nous débarrasser des facteurs comportementaux (socio-économiques, éducatifs, etc.) qui pourraient s’associer avec le choix personnel d’être végétarien ou quasi végétarien ou au contraire mangeur de viande. »

A noter que pour Taubes de telles expériences ont été faites. Et de citer une étude de l’université de Stanford, basée sur ces principes, et qui, contrairement à l’opinion commune, a trouvé que les régimes riches en protéines et pauvres en hydrates de carbone se révélaient préférables non seulement pour la perte de poids, mais aussi pour la santé. A noter toutefois que dans ses livres, Taubes se montre un défenseur convaincu des régimes hyperprotéinés, donc il possède ses propres biais qu’il ne faut pas oublier quand on le lit (en se demandant s’il n’y a pas d’autres expériences qui iraient dans l’autre sens, par exemple), mais cela ne nuit pas à mon avis à son argumentation générale.

Causalité ou corrélation

Bien entendu, ces erreurs épistémologiques ne concernent pas que la santé et le poids. La confusion entre causalité et corrélation est fréquente à chaque fois qu’on étudie un phénomène qui ne se prête pas à l’expérience – autrement dit la plupart des sujets touchant à la sociologie. Les multiples études cherchant à montrer les dangers ou au contraire les bénéfices de nouveaux médias, de jeux vidéos, etc., sont particulièrement susceptibles de tomber dans ce travers. Et cela ne concerne pas que les amateurs. On pense aux propos de la baronne Susan Greenfield, l’une des plus célèbres psychologues britanniques, lorsqu’elle affirma : « Je remarque d’un côté la montée de l’autisme et de l’autre l’usage d’internet. C’est tout ».

Une affirmation si pseudoscientifique et péremptoire qui donna naissance à un tag twitter, #greenfieldism, qui a vu s’accumuler les affirmations les plus absurdes : « je remarque d’un côté le diabète et de l’autre les chats. C’est tout ». « Je remarque le réchauffement global et de l’autre le porno. C’est tout. » « Les allergies aux cacahuètes et les Kardashian ont connu simultanément une montée en puissance. Je suis sûr que ce ne peut être une coïncidence. « 

Une formule populaire dit : on leur fait dire ce qu’on veut, aux chiffres. Ce n’est peut-être pas tout à fait vrai, mais les chiffres n’ont de signification que dans un contexte expérimental bien défini. En tout cas, il est encore loin le temps où les statistiques remplaceront la « bonne science ».

Rémi Sussan