Arrêtez de dire «statistiquement significatif»

Arrêtez de dire «statistiquement significatif», recommandent des statisticiens. L’expression a fait son temps, et crée une séparation trop nette entre ce qui est certain et ce qui ne l’est pas.

En éditorial, la revue de la Société américaine des statisticiens en appelle à l’abandon de la «valeur p»: celle qui dit, comme plusieurs croient l’avoir compris, que si la différence entre deux données est supérieure à 5%, elle est décrétée «significative», tandis qu’en-dessous de ce seuil, elle ne l’est pas.

Ce n’était pas ce que voulait initialement dire cette valeur, mais plusieurs chercheurs en sont venus à l’utiliser abusivement, se plaignent les statisticiens depuis des années (la même revue avait déjà publié un avertissement en ce sens en 2016).

Corrélation ≠ cause à effet

Le simple fait de découvrir une relation «statistiquement significative» entre deux éléments ne signifie pas qu’il y a une relation de cause à effet, préviennent-ils, et c’est aussi le cas dans l’autre sens: l’absence de lien «statistiquement significatif» ne signifie pas qu’on doive considérer la conclusion comme négative.

«Ne concluez à rien qui soit d’importance scientifique ou pratique sur la base du statistiquement significatif (ou son absence)», lit-on d’entrée de jeu dans l’éditorial paru le 20 mars dans The American Statistician.

Peut-être pas nécessairement

De concert avec cette prise de position, 800 chercheurs de différentes disciplines ont publié dans Nature, le 20 mars, un texte allant dans la même direction.

Nous ne devrions jamais conclure qu’il n’y a «aucune différence» ou «aucune association» juste parce que la valeur P est plus grande qu’un seuil tel que 0,05 ou, de la même façon, parce qu’un intervalle de confiance inclut zéro.

Ni ne devrions-nous conclure que deux études sont en conflit parce que l’une a un résultat statistiquement significatif, et pas l’autre. Ces erreurs brouillent des efforts de recherche et nuisent à des décisions politiques.

Pas inutile

L’éditorial s’inscrit dans un numéro spécial dont certains des 43 articles apportent des nuances sur la «valeur P» — les uns suggérant de la garder, mais de changer l’usage qui en est fait. De fait, les 800 signataires n’en appellent pas non plus à son «abolition», mais plutôt à une meilleure utilisation.

C’est que l’abandonner complètement pourrait conduire à d’autres excès: si plus rien n’était significatif, n’importe quelle prétention pseudoscientifique pourrait prendre valeur de preuve.

Cas par cas

Ce qui est suggéré, c’est un usage au cas par cas — par exemple, le contrôle de qualité d’un produit est un domaine où on a besoin d’un tel seuil — plutôt que de voir la valeur P comme la note de passage à utiliser en toutes circonstances.

«Ça pourrait rendre la science plus difficile, mais meilleure», résume Nature en éditorial.