« Jusquà un quart des études scientifiques pourraient être fausses » Le Monde Pierre Barthélémy s’interroge dans Le Monde : « Y a-t-ilquelque chose de pourri au royaume de la science ? La question […] est dactualité depuis quelque temps, depuis que se multiplient les travaux dénonçant la difficulté que des chercheurs rencontrent souvent à reproduire les résultats publiés de leurs collègues. Or la reproductibilité des expériences est une des clés de voûte de cette grande aventure collective quest lentreprise scientifique », rappelle le journaliste. Pierre Barthélémy note ainsi que « ne pas parvenir à retrouver des résultats, comme cest manifestement de plus en plus fréquent dans des domaines aussi divers que la recherche biomédicale, la psychologie, la génétique ou les neurosciences, cest saper la crédibilité de ces recherches et, plus largement, de la science ». Le journaliste explique que « parmi les causes du phénomène de non-reproductibilité, il sen trouve une, mal mesurée, qui pourrait surpasser toutes les autres et qui tient à laune statistique à laquelle on juge les résultats dune étude ». Pierre Barthélémy rappellequ’« afin que la découverte soit jugée valable par la communauté scientifique, il faut éliminer la possibilité dun faux positif, cest-à-dire le fait quautre chose que lhypothèse testée ait produit leffet mesuré. […] Lalpha et loméga de lanalyse statistique sappelle la valeur p. Dans la plupart des disciplines du vivant, le Graal consiste à obtenir une valeur p inférieure à 5%, seuil sous lequel on estime que leffet mesuré est significatif, donc avéré ». « Or, si lon en croit le statisticien américain Valen Johnson (Texas A&M University) [dans un article paru dans les PNAS], cest ce seuil qui est probablement à la source de la crise de reproductibilité de la science », indique le journaliste. Pierre Barthélémy explique que « ce chercheur a voulu tester la robustesse, la rigueur, de lapproche statistique universellement employée par les scientifiques. Il la comparée avec lapproche dite de linférence bayésienne, [qui] met deux hypothèses en concurrence et évalue les chances que lune soit vraie par rapport à lautre ». « Tout le travail de Valen Johnson a consisté à rapprocher les deux méthodes pour examiner si leurs critères de validation se recoupaient. Le résultat est fort instructif et pourrait ébranler le paradigme de la valeur p inférieure à 0,05. A laune de lapproche bayésienne, ce seuil est tout simplement insuffisant », relève le journaliste. Pierre Barthélémy précise qu’« une hypothèse qui passe de justesse sous cette barre na en réalité que de 3 à 5 chances contre 1 dêtre vraie. Selon le statisticien, il se pourrait quune proportion non négligeable détudes se contentant de ce seuil soient tout simplement fausses. Valen Johnson estime quen étant optimiste, le phénomène pourrait concerner entre 17 et 25% des articles en question ! Un taux qui, selon lui, serait cohérent avec la proportion de travaux dont on narrive pas à reproduire les résultats ». Le journaliste retient un « point positif », relevant que « le problème de non-reproductibilité pourrait bien nêtre quun problème de méthode statistique et non pas lindice dun laxisme et dune malhonnêteté galopants dans le milieu des chercheurs, poussés à la découverte par la pression de leurs hiérarchies, de la chasse aux budgets, du fameux publie ou péris ou de je ne sais quelle course au prestige ». Pierre Barthélémy note que « Valen Johnson invite le milieu scientifique à une petite révolution méthodologique, [...] en passant dun seuil de 5% à un seuil de 0,5% voire, pour plus de sécurité, à 0,1% ! Cela aura évidemment un coût sur les recherches car, pour obtenir pareilles validations, il faudra augmenter sensiblement la collecte des résultats et la taille des échantillons. Dun autre côté, ces coûts pourraient être compensés par la diminution drastique du nombre dexpériences quon se casse la tête à reproduire ». « Enfin, il est un gain symbolique que cette réforme de la valeur p pourrait entraîner : le retour dune certaine confiance du public dans les résultats de la recherche », conclut le journaliste.
Posted on: Mon, 18 Nov 2013 16:23:08 +0000
Trending Topics
Recently Viewed Topics
© 2015