Les sondages électoraux sont-ils fiables?

Les Québécois votent ce 1er octobre. Les sondages donnent la Coalition Avenir Québec de François Legault gagnante avec une pluralité de sièges à l’Assemblée nationale, mais avec le même nombre de votes (31%) que le Parti libéral du premier ministre Philippe Couillard. Le Parti québécois de Jean-François Lisée serait troisième avec 19% et Québec solidaire de Manon Massé quatrième avec 15%.

CROP, Ipsos, Léger, Mainstreet sont autant de firmes de sondages qui publient, plusieurs fois par campagne électorale, les intentions de vote pour chaque parti politique. Comment expliquer que l’une suggère, par exemple, qu’un parti soit à 11% et l’autre, le même jour, à 14%? Peut-on croire les sondages, et comment fonctionnent-ils?

Pourquoi publier des sondages

Claire Durand, professeure au département de sociologie de l’Université de Montréal en méthodologie et analyse des sondages, et présidente de la World Association for Public Opinion Research, explique que de publier des sondages permet aux partis, dans un premier temps, de savoir qui vote pour qui, en termes d’âge, de nationalité, de localisation, etc.

Pour les médias, les sondages aident à créer de la nouvelle. Pour les analystes, il s’agit d’un des seuls moments où ils peuvent vérifier et décortiquer la méthodologie des sondeurs et évaluer leur capacité réelle à prédire les résultats.

Aucune firme n’a les mêmes techniques

Alors qu’en recherche scientifique, on doit répéter scrupuleusement la même méthodologie d’une expérience à l’autre pour pouvoir comparer les résultats de façon fiable, impossible de faire la même chose pour les sondages.

Aucune firme n’a les mêmes techniques. Ni dans les échantillons qu’elles choisissent (bien qu’elles s’efforcent que ceux-ci soient représentatifs), ni dans la façon de calculer les marges d’erreur ni dans la façon de poser les questions ou l’ordre dans lequel elles sont posées.

Par exemple, la firme Léger utilise son propre panel pour récolter des données, et possède sa base de données interne.

CROP fait appel à une source externe pour son échantillon.

Ipsos utilise un mélange d’échantillons de personnes qui répondent à ses questions à la fois sur Internet, au téléphone et avec un segment d’une firme externe.

Mainstreet se concentre sur le web.

22 partis au Québec

Les sondeurs utilisent aussi une rotation automatisée de l’ordre des partis politiques apparaissant dans leurs questions. Mais là encore, il y a des différences. Certains font alterner les quatre partis politiques principaux, ainsi que la catégorie «autre», qui inclut les 18 autres partis inscrits à Élections Québec.

Mainstreet, lui, nomme chacun des 22 partis distinctement. Comme ça leur donne davantage de visibilité, «il est normal de voir une montée des intentions de vote pour le Nouveau Parti démocratique du Québec, ou pour le Parti conservateur du Québec», explique Mme Durand.

Les limites des sondages

Historiquement, les sondages ont raison dans leurs prédictions générales, mais pas nécessairement au niveau des pourcentages. «Ils ne sont pas précis sur les pourcentages des résultats, mais le sont sur les tendances, poursuit Claire Durand. Ils témoignent de mouvements réels et vrais en termes d’intentions de vote.»

Ce qui, dépendamment du système électoral, peut entraîner des surprises. On pense en particulier à l’élection présidentielle américaine, où les sondeurs n’avaient pas annoncé la victoire de Trump, mais avaient correctement jaugé les résultats (Hillary Clinton ayant bel et bien eu, à l’échelle nationale, plus de votes que Donald Trump).

Selon l’étude la plus récente sur la question, parue en mars dans Nature Human Behaviour et intitulée «Election polling errors across time and space», les sondages sont plutôt alignés avec les résultats récents des urnes. Mais cette performance varie d’un pays à l’autre en suivant les contextes politiques. L’étude a été menée sur 30 000 scrutins nationaux de 351 élections générales dans 45 pays, entre 1942 et 2017.

La marge d’erreur

La marge d’erreur, autrement appelée intervalle de confiance, c’est l’écart entre ce que les firmes de sondages mesurent avec leur échantillon, et la réalité sur le terrain.

On en fait souvent fi, notamment dans l’interprétation des sondages par les médias. Ces derniers coupent parfois les coins ronds en présentant les sondages, notamment lorsqu’ils annoncent qu’un parti «a progressé de 1%» ou qu’il en devance un autre par 1%. Or, lorsque l’écart est aussi serré, un sondage n’a jamais la prétention de conclure de façon aussi affirmative.

La marge d’erreur, de plus, ne prend en considération que l’échantillonnage, sans tenir compte d’autres variables, comme les personnes qui ne veulent pas répondre ou le fait que des gens peuvent mentir dans leurs réponses.

En somme, la marge d’erreur est l’aveu que le sondage n’a pas la prétention d’être exact: il annonce moins un résultat précis qu’une probabilité qu’un résultat se situe entre deux chiffres.

Quelques astuces

Si les sondages vous intéressent, assurez-vous d’en consulter plusieurs et de varier vos sources d’information. Entre l’interprétation que les médias en font et la façon dont les partis politiques utilisent ces enquêtes, il n’est pas toujours évident d’avoir l’heure juste.

À observer quand on regarde de plus près un sondage: la méthodologie, décrite en détail sur les sites web des différentes firmes, et les questions. Regardez, par exemple, la façon dont le vote non francophone est pris en compte, ou encore dans quel ordre apparaît la question sur la souveraineté.

Des sites qui analysent les sondages, comme Québec 125 ou Too Close to Call, peuvent aider à avoir une vue d’ensemble. Mais là encore, ces gens ont leurs propres prémisses d’analyse, et se basent souvent sur le passé — les sondages publiés au fil des mois — pour tenter de prédire l’avenir.