Voilà une étude qui va confirmer l’existence d’une crise de l’expérimentation scientifique. Le chercheur en science cognitive Paul Smaldino et l’anthropologue Richard McElreath ont créé une simulation numérique de la compétition existant actuellement entre scientifiques. Et les résultats ne sont pas très enthousiasmants.

Leurs travaux ont été présentés notamment dans le Guardian et The Economist ; et Smaldino lui-même s’est fendu d’un long article dans The Conversation. Leur papier original, lui, a été publié sur le site de la Royal Society Open Science.

Image : Dessin Par Nick Kim pour The Conversation.

Trop innovant… pour être honnête

Dans leur papier, les auteurs mentionnent plusieurs raisons qui vont dans le sens d’un affaiblissement de la qualité de publications. Tout d’abord, il faut publier de plus en plus vite et de plus en plus tôt. Ils citent un exemple français à ce propos (ce qui montre que le problème est loin d’être uniquement américano-américain). Analysant les statistiques des embauches des jeunes chercheurs par le CNRS entre 2005 et 2013, ils ont remarqué une augmentation sensible des publications au moment de l’embauche. Les nouveaux biologistes, par exemple, ont publié deux fois plus qu’il y a 10 ans (22 publications en 2013 contre 12,5 en 2005). De fait nous expliquent-ils, la compétition est d’autant plus rude que les universités délivrent bien plus de doctorats (ou de PhDs) qu’il n’existe de postes permanents dans les universités. Et les choses sont encore plus rudes quand on ne sort pas d’une université prestigieuse… Et les auteurs de citer Peter Higgs, le fameux découvreur du boson, qui a déclaré : « Aujourd’hui, je n’obtiendrais pas de travail dans une université. C’est aussi simple que ça. Je ne pense pas que je serais considéré comme suffisamment productif ».

Il existe plusieurs manières de « booster » ses publications, un premier exemple étant d’utiliser un langage amphigourique en insistant sur l’importance de la recherche présentée :

« Entre 1974 et 2014, la fréquence des mots « innovant »,« révolutionnaire » et « nouveau » dans les résumés PubMed a augmenté de 2500 % ou plus… Comme il est peu probable que les scientifiques soient vraiment devenus 25 fois plus innovants au cours des 40 dernières années, on ne peut que conclure que cette évolution linguistique reflète une réponse aux pressions croissantes en faveur de la nouveauté, et constitue plus généralement un moyen pour se démarquer de la masse. »

Une autre technique pour faire parler de soi est l’autocitation. Cela est du à l’adoption de l’indice h, qui, nous explique la Wikipédia « est un indice essayant de quantifier la productivité scientifique et l’impact d’un scientifique en fonction du niveau de citation de ses publications. Il peut aussi s’appliquer à un groupe de scientifiques, tel qu’un département, une université ou un pays ». Et pour augmenter son indice h, quoi de plus simple que se citer soi-même ? Des chercheurs ont écrit six faux papiers, écrits par un auteur fictif, mais citant abondamment ces farceurs. Ils ont ensuite uploadé ces « fakes » sur un serveur universitaire, et, de là, ils ont été indexés par Google Scholar : du coup, nos chercheurs ont constaté que leur indice h avait augmenté sensiblement !

Une dévolution culturelle ?

Quelles conséquences pour la recherche ? Sommes-nous face à des problèmes anecdotiques ou cela implique-t-il une révision complète de nos institutions scientifiques ? C’est pour le savoir que les auteurs de l’étude ont élaboré leur simulation. Se basant sur la notion d’évolution culturelle, inspirée du darwinisme, le programme met en scène une multitude d’agents représentant des labos, entrant en compétition pour des crédits et de la réputation. L’algorithme génétique permet aux labos ayant la plus grande notoriété d’avoir plus d' »enfants », c’est-à-dire de générer de nouveaux labos possédant les mêmes caractéristiques (avec quelques mutations) que le laboratoire « parent ». Chaque labo possède deux paramètres. L’un est le pouvoir, qui détermine sa capacité à développer de nouvelles hypothèses, mais qui produit beaucoup de faux positifs, c’est-à-dire des résultats faussés, et l’autre est l’effort, qui consiste à vérifier la véracité desdites hypothèses. L’effort tend à réduire le nombre des nouvelles découvertes et leur publication. Régulièrement les labos les plus anciens « meurent » c’est-à-dire cessent de produire de la recherche. La question est donc de savoir comment va évoluer cette population de « laboratoires » virtuels.

Si l’on en croit ce modèle informatique, les « labos » ont tout intérêt à réduire la quantité d’effort nécessaire pour valider les résultats de leur expérience et au contraire à publier leurs recherches le plus rapidement et le plus souvent possible. A terme, on observe, pour employer le titre du papier de Smaldino et McElreath, une « sélection naturelle de la mauvaise science ».

Mais on pourrait objecter que cette simulation est incomplète, parce qu’un agent produisant beaucoup de faux positifs devrait tout de même se retrouver pénalisé, non ? Suffirait-il alors de répliquer suffisamment les expériences pour produire enfin de la bonne science ? En fait, si l’on en croit la simulation, même pas. Les auteurs ont changé les paramètres de telle manière qu’un certain pourcentage desdites expériences soit répliqué et qu’au cas où les résultats seraient négatifs, le labo d’origine subisse une pénalité énorme, tandis que si son hypothèse est confirmée, il voit une augmentation de son paramètre pouvoir. Les auteurs ont commencé par un taux de réplication de 1 %, ce qui correspond grosso modo au pourcentage de réplication existant dans des disciplines comme la psychologie. Mais cela n’a pas suffi à réduire de façon significative la baisse du paramètre effort. En fait, même en augmentant ce taux de réplication à 50 %, il s’est avéré plus rentable pour les labos de produire beaucoup plutôt qu’augmenter leur effort de validation.

C’est donc bien la structure de l’institution scientifique qui est en jeu. C’est le mécanisme même de l’évaluation par la publication qui est contestable. Et aussi la mainmise de certains grands journaux prestigieux qui augmente encore la sélection par la réputation. On l’a vu, l’article de Smaldino et McElreath a été publié par la Royal Society Open Science. Et justement l’open science pourra-t-elle aider à résoudre cette crise ? Certes, la libre publication et diffusion des papiers et des recherches n’empêchera pas la parution de travaux défectueux avec des faux positifs. Mais au moins les articles traitant de la réplication d’expériences anciennes (et surtout ceux contredisant des résultats précédemment positifs) ne se retrouveront-ils pas refusés à la publication ou cantonnés dans des revues moins prestigieuses… Mais pour cela, il faudrait aussi que les articles publiés en « open » soient aussi bien considérés et réputés que ceux mis en avant par des médias plus traditionnels. Cela sera-t-il le cas ?

Rémi Sussan