La crise de la réplication, on en a déjà traité plusieurs fois dans les colonnes d’InternetActu (voire notamment « L’effondrement de la psychologie sociale », ou « L’expérimentation psychologique en crise » ou encore « Comment la science est tirée vers le bas »), mais ne vous étonnez pas qu’on en reparle encore : cette crise est là pour durer ! Et si l’on en croit un article d’Ars Technica, elle est encore plus profonde qu’on ne le croit.

Le magazine en ligne se fait l’écho d’un papier de Michael Muthukrishna et Joseph Henrich (@JoHenrich) paru dans Nature Human Behavior. Pour ces deux chercheurs, les causes de cette crise ne sont pas seulement à chercher du côté des statistiques incorrectes, du biais de publication ou d’expérimentations menées trop légèrement. La vraie question, nous disent-ils, est l’absence de théorie générale à propos du sujet étudié, ce qui permet la multiplication des expériences sans pour autant que ces dernières ajoutent quoi que ce soit à la cohérence de l’ensemble.

« Sans un cadre théorique global », écrivent-ils, « les programmes empiriques naissent et se développent à partir d’intuitions personnelles et de théories naïves culturellement biaisées » (le terme anglais exact traduit ici par « théories naïves » est « folk theories » ; en épistémologie, ce terme désigne des conceptions du monde élaborées intuitivement, partagées par la majorité des humains et pourtant dénuées de fondements scientifiques).

« Sans cadre théorique », explique le magazine, « le nombre de questions qu’on peut poser est infini » et, de plus « avoir trop de questions conduit à mener un grand nombre de petites expériences – et les chercheurs qui les effectuent ne disposent pas toujours d’une hypothèse forte ni des prédictions qu’elle implique avant de commencer à collecter des données ».

Pour les deux auteurs, la bonne attitude consisterait tout d’abord à définir sa théorie de la manière la plus formelle possible, éventuellement en utilisant des maths, comme dans les sciences physiques. Selon Muthukrishna : « je ne veux pas dire que toutes les théories doivent être écrites sous forme de maths… Mais la plupart devraient l’être. »

Or, précise Ars Technica, cette insistance sur la théorie n’est pas du goût de tous les chercheurs. Le magazine mentionne ainsi les objections de Tal Yarkoni, qui dirige le labo de psychoinformatique à l’université d’Austin. Pour lui, au contraire, « nombre de nos problèmes découlent en réalité d’une préoccupation beaucoup trop grande pour les cadres théoriques élégants ». Il prend comme exemple la théorie de la sélection naturelle darwinienne – que Muthukrishna et Henrich donnent également comme exemple d’une bonne théorie. S’il reconnaît bien sûr la valeur du darwinisme, Yarkoni note cependant qu’en biologie, sur un plan strictement pratique, « la distance entre le « cadre théorique global » et les mécanismes concrets à l’étude est si vaste qu’il est généralement inutile de considérer ce dernier. »

Pour lui, au contraire, le mieux est encore « d’accepter que le monde est vraiment compliqué. Que dans la plupart des domaines, même nos meilleures théories ne peuvent expliquer qu’une petite fraction des nombreux comportements qui nous intéressent et que nous devrions probablement mettre davantage l’accent sur la description et la prédiction à grande échelle (et moins sur l’explication causale). »