Si vous avez cru, il y a quelques semaines, que le chocolat noir faisait maigrir, mauvaise nouvelle: c’était faux. Derrière cette «recherche» reprise par plusieurs médias, il y avait un journaliste scientifique, John Bohannon, qui avait reçu un mandat d’une équipe de télévision allemande préparant un documentaire sur l’industrie des faux régimes alimentaires.
Il a donc préparé une véritable étude, avec un véritable groupe de gens, étude dont il a ensuite envoyé les résultats à une véritable revue scientifique — l’une de celles qui acceptent tout ce qu’on leur envoie, moyennant paiement. Le groupe était minuscule — 5 hommes et 11 femmes — et l’étude était constituée de telle façon qu’on obtiendrait nécessairement des résultats positifs.
Comme l’explique Bohannon dans le récit qu’il a fait de cette histoire dans le magazine io9: «Voici un vilain petit secret. Si vous mesurez un grand nombre de choses à propos d’un petit nombre de gens, vous êtes presque assuré d’obtenir un résultat ‘statistiquement significatif’. Notre étude impliquait 18 mesures différentes — poids, cholestérol, sodium, niveaux de protéine dans le sang, qualité du sommeil, bien-être, etc. Pensez à ces mesures comme à des billets de loterie. Chaque billet a une petite chance de rapporter un résultat ‘significatif’. Plus vous achetez de billets, plus vous avez des chances.»
Autrement dit, cette étude a «démontré» que le groupe de cobayes qui avait mangé plus de chocolat avait perdu du poids plus vite, mais ça aurait pu être un autre des facteurs, et le résultat aurait été tout aussi intéressant: le chocolat améliore la qualité du sommeil, le chocolat diminue le niveau de cholestérol, le chocolat diminue la pression sanguine, etc.
Si l’équipe de télé allemande a fait appel à Bohannon, c’est parce qu’il est l’auteur d’un canular similaire qui, en 2013, avait démontré combien il est facile de publier une étude bidon dans un grand nombre de revues peu soucieuses de leur crédibilité.