LES SONDAGES
Introduction
Philippe Meyer :
La campagne présidentielle de 2022, rythmée par la publication quasi-quotidienne de multiples sondages, a donné lieu à diverses critiques contre les enquêtes d’opinion. Ainsi, le rédacteur en chef de Ouest France a annoncé en octobre 2021 que son journal ne réaliserait aucun sondage et « évitera(it) de perdre du temps à commenter ceux des autres ».
La réalisation d’enquêtes d’opinion est une pratique ancienne dont on peut retrouver une première occurrence en 1745. L’administration de Louis XV avait alors ordonné de « semer les bruits » de réformes à venir et de « recueillir avec soin ce qu’en disent les habitants ». Désormais, les analyses de l’esprit public reposent sur la construction d’échantillons représentatifs. Leur technique, apparue dans les années 1930 aux États-Unis a été importée en France en 1938 avec la création de l’IFOP. Leur pratique a été popularisée par cet institut en 1965 grâce à son évaluation exacte des intentions de vote pour le général de Gaulle au premier tour de l’élection présidentielle, malgré le fait que les scores attribués aux autres candidats n’ont pas été avérés.
Depuis, les sondages ont connu un usage en augmentation constante. Alors que l’élection présidentielle de 1965 n’avait donné lieu qu’à 14 sondages, il y en a eu 193 en 2002 puis 560 en 2017. Cet essor s’est accompagné d’une évolution des méthodes, notamment d’un déclin des enquêtes par téléphone au profit des enquêtes en ligne.
Sondés sur leur rapport aux sondages dans une enquête réalisée en 1978, 80% des personnes interrogées estimaient que l’on parlait trop de sondages politiques et 66% d’entre eux se prononçaient en faveur de l’interdiction de la publication de sondages avant les élections.
Le législateur en a réglementé la publication et la diffusion. Une loi de 1977 a instauré une Commission des sondages, composée de neuf membres : six magistrats de la Cour de cassation, du Conseil d’État et de la Cour des comptes et trois « personnalités qualifiées en matière de sondages » désignées par le Président de la République et les présidents des deux assemblées parlementaires. Cette commission a le pouvoir de contrôler le processus de fabrication d’un sondage, les modalités de sa présentation dans un organe de presse, et d’exiger la publication d’une rectification lorsqu’elle l’estime nécessaire. En février 2022, elle a pointé les « insuffisances méthodologiques » de l’institut Cluster 17 et enjoint l’hebdomadaire Marianne à publier son avis invitant les lecteurs de ces sondages à « une prudence particulière ».
Depuis 2002 la publication de sondages électoraux est interdite dans les 48 heures précédant un scrutin et une loi du 29 mars 2021 exige que, pour l’élection présidentielle, toute publication de sondage soit accompagnée de l’indication des marges d'erreur des résultats. La presse étrangère permet ou de contourner cette interdiction, ou de faire circuler des informations invérifiables et d’alimenter des rumeurs.
Mathieu Gallard, vous êtes directeur-adjoint de l’institut Ipsos, ceux qui vous suivent sur Twitter savent qu’aucune élection n’échappe à votre curiosité, qu’elle ait lieu en Italie, au Portugal, au Brésil ou en Espagne, vous êtes donc tout à fait qualifié pour répondre à une première question : à quel point les sondages se trompent-ils et surtout, s’ils se trompent, quelle est leur erreur la plus fréquente ?
Kontildondit ?
Mathieu Gallard :
Oui, les sondages peuvent évidemment se tromper, nous avons sans doute d’ailleurs à peu près tous des exemples en tête. Néanmoins leurs erreurs sont beaucoup plus mémorables que leurs réussites. Or en 2019, une étude académique récapitulait les résultats de 30 000 sondages électoraux effectuées entre 1942 et 2018. Elle montrait que globalement, les sondages ne se trompaient pas plus dans les élections récentes que dans les anciennes. Il n’y a pas de dégradation particulière de la qualité des sondages, en France ou ailleurs dans le monde, mais plutôt une amélioration par rapport à ce qu’il pouvait y avoir jusque dans les années 1970.
Par ailleurs, si quelques erreurs récentes des sondages sont particulièrement spectaculaires (Brexit, élection de Trump …) il ne faut pas trop les surestimer. On trouve par exemple sur Wikipédia une page récapitulant l’ensemble des sondages d’opinion réalisés avant le référendum britannique sur le Brexit, on constate que les derniers sondages réalisés mettaient le « leave » et le « remain » quasiment à égalité. Et au final, le « leave » l’a emporté de peu (51,89%). C’est donc tombé dans la marge d’erreur du sondage, qualifier cela d’erreur est donc, à strictement parler, un peu abusif. Lors de l’élection présidentielle de 2016 aux Etats-Unis, les sondages ne se trompaient pas non plus sur le fait que le vote populaire serait remporté par Hillary Clinton.
Il existe cependant de réelles erreurs. Lors des élections régionales en France l’année dernière par exemple, il y a eu une erreur des sondages, qui ont clairement surestimé le vote pour le Rassemblement National, en lien avec une sous-estimation de l’abstention.
Oui, les sondages peuvent se tromper, mais il faut se garder de surinterpréter ces erreurs.
Nicole Gnesotto :
Il y a d’autres exemples d’erreurs manifestes : la primaire de la droite avant la présidentielle de 2017, où Juppé était donné gagnant partout et où Fillon l’a emporté . Il y eut aussi l’erreur à propos du premier tour de l’élection de 2002, où Jean-Marie Le Pen devait selon les sondages faire entre 6% et 10% des voix, et où il s’est finalement qualifié pour le second tour avec 16%. Je ne dis pas cela pour accabler les instituts de sondages. C’est plutôt la notion « d’échantillon représentatif » qui me pose question.
Il me semble que les sondages d’aujourd’hui reposent sur une image de la société industrielle et la société de consommation qui n’est plus exactement celle dans laquelle nous vivons désormais. Il y avait une société organisée par âge, par sexe, par localisation de l’habitat, par catégorie socio-professionnelle, par niveau d’éducation, etc. Or quand on regarde l’évolution de la société, ou qu’on lit les livres de sociologues comme Jérôme Fourquet, on a l’impression d’une société où le critère de sexe devient plus aléatoire, celui de l’âge se divise entre vieux « jeunes » et vieux « vieux », celui de la géographie est plus complexe que « rural ou urbain » (le péri-urbain est très important), bref on a l’impression que l’évolution de la société sondée ne correspond pas réellement à celle des méthodes des sondeurs.
Mathieu Gallard :
A propos de l’erreur que vous pointiez sur la primaire de la droite en 2016, dans la toute dernière ligne droite, on a vu une montée très claire de François Fillon. Chez IPSOS, le dernier sondage que nous avions publié donnait d’ailleurs Fillon en tête de 1 point. Vous me rétorquerez à juste titre que Fillon s’est retrouvé en tête de beaucoup plus d’un point, mais reconnaissons que sur les erreurs des sondages, notre mémoire se montre particulièrement sélective …
J’ai un autre exemple en tête. En mars 2017, il y a eu des élections législatives aux Pays-Bas. Donald Trump venait d’être investi président, la campagne électorale française battait son plein, et Marine Le Pen était à un niveau très haut. Les journalistes français et beaucoup d’anglo-saxons en faisaient donc beaucoup sur la formation d’extrême-droite néerlandaise, le « Parti pour la liberté » de Geert Wilders, alors que les sondages le donnaient plutôt en baisse. Mais la couverture médiatique de ces élections lui faisait la part belle, et titrait régulièrement sur le risque de son accession au pouvoir. Il se trouve que les sondages avaient vu juste. Or le lendemain de l’élection, j’ai constaté qu’un certain nombre de journalistes accusaient les sondages de s’être trompés et d’avoir « enflé » le phénomène de l’extrême droite néerlandaise. Factuellement c’était complètement faux, mais cette tendance à projeter ses propres erreurs sur les sondages existe. Pas chez tous les journalistes, fort heureusement.
Votre questionnement sur l’échantillonnage est fondé. La société change, et nous devons le prendre en compte. Mais j’ai l’impression que nous le faisons, et que ces grandes divisions sociologiques, comme l‘âge, le genre, la catégorie sociale, le lieu d’habitation, restent structurelles dans le vote. On le voit aujourd’hui dans les grandes enquêtes électorales. Il y a par exemple à propos d’Eric Zemmour un gender gaptrès important, c’est à dire un différentiel entre les hommes et les femmes. Pour certains candidats, il y a des différences significatives entre électorat rural ou urbain. Et nous tentons d’adapter la prise en comte de ces éléments. Sur la catégorie d’agglomération par exemple, nous nous efforçons (surtout depuis le mouvement des Gilets Jaunes) d’avoir des distinctions plus fines que « rural » ou « urbain », avec les villes, les balieues, les zones péri-urbaines et les zones rurales.
Évidemment, on peut être en retard d’une élection, et ne pas se rendre compte d’une évolution. Les sondages se trompent aussi parfois dans la méthodologie, mais là encore, ils s’efforcent de s’ajuster.
Richard Werly :
Il se trouve que je représente un journal qui commande peu de sondages. Et globalement, les sondages sont beaucoup moins présents en Suisse qu’ils ne le sont dans le paysage médiatique français. J’aimerais aborder avec vous une question souvent occultée : celle de la relation entre le client, c’est à dire le média, et le fournisseur : l’institut de sondage. N’y a-t-il pas un biais selon le média qui commande le sondage ? Corollaire de cette question : n’avez-vous pas parfois le sentiment d’être là pour « agiter le marché », comme on dit en bourse ? On a parfois le sentiment que vous êtes là pour faire monter et descendre certaines valeurs, parce que ces mouvements profitent à ceux qui diffusent l’actualité. Je pense évidemment aux chaînes d’information en continu, mais pas seulement.
Mathieu Gallard :
A propos de l’importance des sondages en France, on entend effectivement beaucoup que nous sommes le pays « roi des sondages ». Et pourtant, du point de vue des chiffres, c’est complètement faux. Une association avait comptabilisés le nombre de sondages réalisés en 2021 en Europe. 282 sondages électoraux ont été publiés en Allemagne, (mais c’était une année d’élections législatives), 297 en Italie (année sans élection), 253 au Royaume-Uni, 200 en Pologne, etc. En France : 67, ce qui nous place derrière l’Estonie, le Danemark ou la Bulgarie. Factuellement, il n’y en a donc pas tant que cela. Certes, il y en a beaucoup lors d’une séquence électorale présidentielle, mais pas beaucoup plus qu’ailleurs. Il est vrai cependant que la centralité de l’élection présidentielle en France produit un effet plus concentré et une relation aux sondages plus complexes que dans les démocraties parlementaires, où ils sont plus échelonnés dans le temps.
J’en reviens à votre question sur les rapports entre les instituts de sondages et les médias commanditaires. La plupart du temps, les journalistes avec lesquels nous travaillons nous demandent des choses très larges, très floues. Dans ces cas-là, nous rédigeons un questionnaire qui est accepté tel quel à peu près neuf fois sur dix.
Nous sommes souvent accusés, c’est d’ailleurs la critique traditionnelle de Bourdieu, d’imposer un certain nombre de problématiques. On entend beaucoup par exemple que nos clients n’apprécient pas que nous laissions dans nos questionnaires un choix « je ne sais pas » ou « je n’ai pas d’opinion sur cette question ». Dans mon expérience personnelle, je puis vous assurer que les journalistes n’objectent rien à cela, et qu’il est tout à fait possible, sur de nombreux sujets complexes ou qui exigent un suivi précis de l’actualité politique, de faire figurer ce genre de réponse. Je vous donne un exemple récent : nous avons mené une enquête qui portait sur la perception de la campagne de Yannick Jadot. Il paraissait clair que l’un des éléments marquants de la campagne de M. Jadot était qu’on en entendait peu parler. Dès lors, une grande partie des Français qui suivent moins l’actualité politique risquaient fort de ne pas avoir d’opinion précise sur ce sujet. Il se trouve que ce fut le cas : un Français sur deux ne savait pas dire s’il menait une bonne ou une mauvaise campagne, s’il prenait correctement en compte les questions de droits des minorités ou de racisme, etc.
Très honnêtement, je trouve les rapports entre sondeurs et journalistes assez simples. Il est extrêmement rare d’avoir des demandes très précises, ou des questions imposées qui poseraient des problèmes déontologiques.
Sommes-nous des « agitateurs de marché », comparables aux agences de notations avec les marchés financiers ? Il me semble qu’une autre question se cache derrière celle-ci : y a-t-il trop de sondages ? Et les sondages sont-ils trop relayés par les médias ? Sincèrement, j’admets volontiers trouver que certaines chaînes d’information en continu en font trop sur les sondages, et agitent cette « course de petits chevaux », même si les sondages ne sont qu’un moyen parmi d’autres pour faire cela. En ce moment par exemple, c’est la course aux parrainages qui permet d’occuper facilement le temps d’antenne, ou les ralliements des élus du RN qui passent chez Zemmour, des Républicains vers LREM, etc. Ceci étant dit, il me semble que pour la plupart des médias, qu’ils soient audiovisuels ou écrits, le rapport aux sondages est plutôt sain, et une part de la couverture de la campagne reste centrée sur l’explication des enjeux et sur les reportages de terrain. Cela me paraît être un complément utile aux sondages.
Lucile Schmid :
Il y a un fait qui me paraît frappant : la société française est devenue plus imprévisible. Elle n’est pas la seule, d’ailleurs. Il est de plus en plus difficile de prévoir les réactions des uns et des autres, et c’est un phénomène qui ne concerne pas seulement les sondages. Le niveau d’abstention par exemple est très difficile à prévoir. On peut aussi avoir en tête qu’au moment des européennes de 2019, M. Jadot avait fait trois points de plus que ce que lui prédisaient les sondages ; on peut également se rappeler qu’en 2009, Europe-Ecologie avait fait 16% à la surprise générale, car les sondages ne prévoyaient pas autant.
Il y a dans la scène politique actuelle des forces émergentes et des forces descendantes. Par exemple le Parti Socialiste est en train de descendre, et certains avancent l’idée que les écologistes pourraient prendre sa place. En tous cas, pour nous qui ne sommes pas sondeurs, imaginer ce que pourrait être le paysage du premier tour paraît très compliqué. Dans quelle mesure cette déstructuration de la vie politique vous complique-t-elle la tâche ?
A propos de la représentativité des échantillons, ensuite. On sait que plus vous interrogez de gens, plus votre marge d’erreur décroît. Ainsi, à partir de 10 000, la marge d’erreur est deux fois moindre qu’à 1500 personnes. Mais la question des coûts pèse lourd : interroger 1500 personnes coûte évidemment moins cher que 10 000. Et pourtant, compte tenu de ce qu’est l’imprévisibilité de la société française, ne faudrait-il pas préconiser de plus grands échantillons ?
A propos des forces émergentes : il y a eu le RN, il y a eu la forte abstention, il y a désormais les écologistes … Pensez-vous vraiment que lorsqu’on est sondés (par internet désormais) on dit ce qu’on va faire, et qu’on ne se réserve pas, plus qu’avant, la possibilité de changer d’avis ?
Mathieu Gallard :
La première grande erreur historique des sondages eut lieu pendant l’élection présidentielle étasunienne de 1948. L’institut Gallup prévoyait la victoire du candidat Républicain Thomas Dewey, alors que c’est Harry Truman qui fut élu. Mais cette prévision venait d’un sondage fait trois semaines avant l’élection. A ce moment là, l’avance de Dewey était telle qu’on jugea que les jeux étaient faits, et qu’on ne réalisa pas d’autre sondage par la suite. Depuis, cette volatilité de l’électorat est prise en compte, et on veille à faire des sondages le plus tard possible, dans les limites de la loi.
Mais la volatilité dont vous parlez existe, elle est énorme, et en effet elle complique considérablement le travail des sondeurs. Un exemple : nous réalisons une enquête électorale tous les mois pour Le Monde et le CEVIPOF, auprès d’un échantillon de 12 000 personnes, les mêmes à chaque vague de l’enquête. Nous constatons qu’environ 30% de l’échantillon change d’opinion d’un mois à l’autre. Des abstentionnistes qui se décident pour un candidat, et inversement, ou des personnes qui changent de candidat. Cela complique évidemment la prédiction, mais sur le plan méthodologique en revanche, cela ne pose pas de problème particulier, à partir du moment où les échantillons sont bien construits, et où les gens disent la vérité aux sondeurs.
Il y a tout un discours sur un « vote caché » qui favoriserait l’extrême-droite. On en parlait déjà à l’époque du Front National, et désormais à propos d’Eric Zemmour. C’était vrai pour Jean-Marie Le Pen, dont les résultats étaient souvent meilleurs que les estimations des sondages. Mais à l’époque les enquêtes étaient réalisées en face-à-face et par téléphone, et une partie de l’électorat frontiste n’osait pas avouer ses sympathies. Cela a contribué à mettre en place des redressements, une méthode très simple, voire simpliste, qui pouvait distordre l’échantillon. Aujourd’hui, ce n’est plus vraiment le cas, il n’y a plus de sous-estimation du vote RN, c’est même plutôt l’inverse. Je ne vois donc pas pourquoi le vote Zemmour serait sous-estimé. On le voit pendant la campagne, les gens qui souhaitent voter pour lui ne s’en cachent pas particulièrement, bien au contraire. Nous verrons cela le 10 avril, mais pour ma part, je ne crois pas beaucoup à ce type d’erreur le concernant.
Au sujet du coût des enquêtes, relatif à la taille des échantillons, c’est une réalité. L’enquête que je mentionnais ci-dessus coûte nettement plus cher qu’une enquête classique auprès de 1 000 ou 1 500 personnes. Il serait sans doute très positif de développer des enquêtes comme celle-ci, qui permettent un suivi très précis de la campagne et des évolutions électorales dans des sous-catégories de la population, comme le vote des jeunes, celui des ouvriers, des électeurs de Fillon en 2017, etc. Mais en plus de l’obstacle du coût, vrai problème pour beaucoup de médias, il y a aussi celui de la durée. Le tempo médiatique est très rapide, or une enquête pareille prend du temps.
Philippe Meyer :
Pouvez-vous nous dire un mot du redressement ?
Mathieu Gallard :
Le redressement consiste à faire en sorte que votre échantillon ressemble à la réalité de la France. Quand vous réalisez une enquête par quotas, vous cherchez à avoir dans votre échantillon la même proportion d’hommes, de femmes, de jeunes, de seniors, de cadres, d’ouvriers qu’il n’y en a dans la population réelle, selon les données de recensement de l’INSEE. Quand vous réalisez une enquête électorale, vous cherchez en plus à ce que votre échantillon ressemble à la réalité électorale de la France. Sauf qu’évidemment, l’INSEE ne demande pas aux Français leurs préférences politiques. Le seul moyen est donc de demander aux personnes interrogées pour qui ils ont voté lors de l’élection précédente. L’échantillon ne colle jamais parfaitement avec les résultats. Prenons un exemple : on peut avoir un Emmanuel Macron surestimé, où 26% des sondés nous disent qu’ils avaient voté pour lui, alors que dans la réalité c’était 24%. Dans ce cas là, on donne aux personnes disant avoir voté pour Macron en 2017 un poids légèrement inférieur à 1. C’est à dire que chacune de ces personnes ne comptera pas pour 1 personne, mais pour 0,8 ou 0,9 selon l’importance du redressement à effectuer.
Cela signifie qu’on ne redresse pas les candidats nouveaux venus. On ne redresse pas Eric Zemmour par exemple, tout comme on ne redressait pas Emmanuel Macron en 2017. L’offre politique actuelle n’a pas d’impact sur ces redressements, Tout ce que nous cherchons à obtenir, c’est un échantillon ressemblant à la France de nos données électorales, c’est à dire des élections précédentes.
Nicole Gnesotto :
Ces erreurs des sondages me ravissent. Pour moi, elles ne sont pas un problème, mais plutôt le signe que la société française n’est pas déterminée mathématiquement. Il y a une irréductible part d’imprévu, et seuls des régimes totalitaires pourraient avoir des sondages prédisant parfaitement les comportements. Mais évidemment, il serait vain d’avoir des sondages dans ce cas … Les erreurs des sondages relèvent davantage de ruses de la démocratie que de problèmes chez les sondeurs.
J’aimerais vous interroger sur l’influence des sondages, et en particulier sur les décideurs, c’est à dire soit les hommes politiques au pouvoir, soit les candidats. Avez-vous des études sur l’évolution éventuelle de décideurs en fonction des sondages ? Y a-t-il des cas exemplaires ? Moi qui suis de près les questions européennes, j’observe par exemple que pendant la campagne de 2017, si Emmanuel Macron avait écouté les sondeurs, il n’aurait jamais parlé d’Europe. Inversement, quand on regarde les « eurobaromètres », ces sondages européens publiés depuis 1973, on voit que la question d’une Europe-puissance remporte une large adhésion, avec plus de 70% d’opinions favorables, y compris au Royaume-Uni. On est donc en droit de se dire que si les décideurs écoutaient ces sondages, ils prendraient la question d’une Europe forte sur la scène internationale plus au sérieux.
Mathieu Gallard :
Il est vrai que quand on parle de l’influence des sondages, on sous-entend généralement « sur les électeurs ». Alors qu’à mon avis, celle sur les décideurs politiques est bien plus sûre. Il est tout à fait certain que de bons sondages vont constituer un atout pour un candidat potentiel (voire le pousser à se déclarer candidat), et inversement. De mon point de vue, c’est plutôt une erreur car, je m’étonne de ne l’avoir pas encore dit, mais un sondage n’est pas une prédiction. Pardon, c’est une formule rebattue au point qu’on puisse la prendre pour un élément de langage, qu’on sortirait régulièrement pour se couvrir en cas d’erreur, mais je puis vous assurer que c’est vrai. Il est évident qu’on ne sait pas ce qui se passera dans les deux mois restants de la campagne ; beaucoup de choses peuvent arriver, entre l’attitude des candidats, les débats, les polémiques, etc. Dans un contexte de forte volatilité électorale, de mauvais sondages actuels ne signifient pas forcément de très mauvais résultats le jour J. Anne Hidalgo a de très mauvais chiffres ; au moment où nous enregistrons, il y a de quoi être pessimiste. Mais pas seulement à cause des sondages, peut-être aussi parce qu’elle est une personnalité déjà connue des Français, et dont ils ont une image dégradée. Il est donc difficile dans ces conditions qu’elle bénéficie de sa campagne quand elle battra son plein, a fortiori parce que les thèmes qu’elle met en avant ne sont pas ceux qui sont au cœur des discussions actuelles. Pour autant, un sondage ne doit pas être lu comme une prophétie.
A propos des eurobaromètres, qui ne sont pas des sondages électoraux mais des enquêtes plus larges, dans quelle mesure peuvent-ils influencer les décideurs politiques ? Avant de travailler à IPSOS, il se trouve que j’étais au service information du gouvernement, où nous commandions des enquêtes aux instituts de sondage, pour Matignon et pour les différents ministères. Et j’étais frappé de voir à quel point les sondages n’étaient qu’un outil parmi beaucoup d’autres. Les résultats des sondages, même très clairs, étaient assez rarement pris en compte. Tout simplement parce qu’un ministre ou un président a beaucoup d’autres dimensions à considérer dans ses prises de décision.
C’est pourquoi, chaque fois que j’entends parler d’une démocratie qui serait menée par les sondages, je suis assez perplexe … Là encore, j’ai un exemple venu de l’étranger. Tony Blair avait la réputation d’être « accro » aux sondages, et de mener sa politique en fonction de ceux-ci. Cela ne l’a pas empêché de se lancer dans la guerre en Irak, dont tous les sondages montraient que les Britanniques ne voulaient absolument pas.
Les Européens voudraient une Europe forte, or les responsables politiques de la plupart des pays ne prennent pas en compte cette volonté. Mais l’un des points à garder à l’esprit quand on regarde des sondages, très bien démontré par les sociologues, est que l’opinion des individus sur les différents enjeux est fondamentalement ambivalente. La grande majorité gens n’est pas très politisée, (disons qu’elle s’intéresse à la politique d’assez loin), et quand vous leur parlez des grands enjeux qui intéressent beaucoup les médias et les candidats, ils n’y ont la plupart du temps pas beaucoup réfléchi. Ils peuvent donc très bien juger qu’il faut une Europe forte, tout en déplorant que l’Europe pose un certain nombre de problèmes, empiète sur les prérogatives nationales, etc.
Richard Werly :
Les instituts de sondage ne font pas que des sondages politiques. Il serait d’ailleurs intéressant d’avoir la proportion de ceux-ci dans votre pratique. Je souligne ce point pour parler de la fabrique des sondages. Une enquête récemment publiée dans Le Monde montre que la plupart des sondages sont réalisés électroniquement (en ligne et non plus au téléphone), et qu’en gros il est tout à fait possible de disposer de nombreux alias pour remplir beaucoup de questionnaires, et déclarer qu’on préfère tel produit à tel autre, sans que personne ne vérifie si vous existez vraiment. Ces affirmations sont-elles justes ? A cause de ce choix des échantillons numériques, y a-t-il un problème dans la fabrique des sondages ?
Philippe Meyer :
J’ajouterai une question : un certain nombre de gens sont rémunérés (faiblement, certes, mais tout de même) pour répondre à des sondages. Quel sorte de biais cela peut-il entraîner ?
Mathieu Gallard :
Sur le poids des sondages politiques dans l’activité des instituts de sondage, en tous cas chez IPSOS, disons que les sondages d’opinion comptent pour 5 à 10% du chiffre d’affaires, et que la grande majorité des sondages concernent le marketing. Plus précisément, les sondages strictement électoraux représentent 1% du chiffre d’affaires, c’est clairement une activité plutôt marginale.
Philippe Meyer :
Une remarque rapide : il est vrai que le mot « d’institut » confère une caractère un peu solennel et scientifique, alors qu’il s’agit d’entreprises, ou d’agences …
Mathieu Gallard :
Vous avez tout à fait raison, il s’agit d’entreprises privées, qui cherchent à gagner de l’argent. Mais bon, il y a aussi des instituts de beauté !
Sur la méthodologie des sondages, ensuite. Les sondages peuvent-ils être « bernés » par des personnes parvenant à s’introduire dans les panels ? Aujourd’hui, l’immense majorité des sondages est réalisée en ligne. Il y a des entreprises qui créent des panels, c’est à dire qu’elles recrutent des personnes qui acceptent de répondre régulièrement à des sondages d’opinion ou pour du marketing. Chez IPSOS par exemple, nous avons internalisé ce processus et créé nous-mêmes notre propre panel. Si nous constatons que notre panel manque par exemple de personnes âgées, nous faisons paraître une annonce dans un magazine lu par cette catégorie de population. Donc quand nous faisons une enquête, que nous interrogeons 1 000 Français sur telle ou telle question, nous piochons dans notre panel (qui compte environ 200 000 personnes) et envoyons une invitation. Il y a eu cet article du Monde que vous mentionniez, où le journaliste raconte le travail auquel il s’est livré, très intéressant mais dont on sent aussi qu’il a dû être extrêmement fastidieux : il a répondu à environ 200 sondages en quelques semaines, il est donc techniquement possible de répondre à des sondages en utilisant de fausses identités. Mais derrière ce fait, il y a le soupçon que des militants s’introduisent dans les panels pour venir fausser les résultats.
Richard Werly :
Ou des gens payés par telle marque de lessive pour la faire élire la meilleure de toutes.
Mathieu Gallard :
Pourquoi pas, mais comme je le disais, notre panel compte 200 000 personnes. Et les sondages demandant de juger les lessives tombent très irrégulièrement. Donc si vous voulez en infiltrer un, il vous faudra répondre à énormément d’autres, qui n’ont rien à voir. Cela demande une motivation titanesque et énormément de temps libre …
Quand vous vous inscrivez dans un panel, vous devez fournir des renseignements personnels : sexe, tranche d’âge, catégorie sociale, etc. Ce sont des questions qui vous sont posées à chaque début d’enquête. Si les informations ne se recoupent pas, que vous avez répondu être un homme de 50 ans dans une enquête et une femme de 20 ans dans une autre, vous êtes exclu. Donc, non seulement il vous faut répondre à énormément de sondages avant de tomber sur celui que vous souhaitez fausser, mais il vous faudra y répondre avec un certain sérieux, sous peine d’être exclu. Admettons par exemple qu’une enquête de 20 questions demande au minimum 4 minutes pour être remplie correctement (je dis des chiffres au hasard, c’est pour l’exemple). Si vous répondez en moins de ces 4 minutes, comme pourrait le faire un robot ou quelqu’un de pressé, vous êtes exclu. Ou si vous répondez systématiquement par le premier choix, vous êtes exclu, etc. Il existe donc un certain nombre de garanties, qui font que techniquement, une infiltration n’est pas impossible, mais elle est si décourageante que ce doit être extrêmement rare.
Enfin, quand vous travaillez dans un institut de sondage et qu’il vous faut tester les liens des enquêtes envoyées, je puis vous assurer que c’est extrêmement fastidieux, et que personnellement, je ne le souhaite à personne.
Sur les rémunérations, elles sont plutôt de l’ordre du symbolique (moins d’un euro pour une enquête demandant 8 à 10 minutes). Sincèrement, il n’existe aucune étude nous permettant de dire si cette rémunération a un impact, mais il nous semble, étant donné la faiblesse de ces gratifications (dans le meilleur des cas, quelques dizaines d’euros sur un an), que les gens répondent surtout parce qu’ils souhaitent donner leur avis.
Lucile Schmid :
Vous nous avez dit que la plupart des personnes sondées sont souvent peu politisées. Et pourtant, on voit bien que sur des sujets très structurants pour les débats d’aujourd’hui, par exemple le nucléaire, il y a certainement de nombreux sondages, et qu’ils seront utilisés sur des sujets clivants. Sur les sujets assez techniques, on peut en outre craindre que la façon de poser la question puisse orienter la réponse. Quand le débat politique inclut des questions à la fois techniques (donc que les gens connaissent peu) et très clivantes (où les gens ont envie d’exprimer leur avis), ne vous arrive-t-il pas, en tant que sondeurs, de regretter l’état du débat ?
J’ai une deuxième question à propos de ce qui s’est passé autour de la convention citoyenne pour le climat. On a utilisé les méthodes du sondage pour choisir un échantillon de 150 personnes, qu’on estimait représentatif de la société française, on lui a donné un mandat, avant que tout cela ne finisse avec beaucoup de déceptions. Mais il est intéressant qu’on ait inscrit dans la vie politique un évènement incluant votre méthode. Que pensez-vous de cela ? N’y a-t-il pas aussi, au fond, une fascination pour cette méthode, dans une société pourtant toujours assez libre pour faire mentir les sondages ?
Mathieu Gallard :
On dit souvent des Français qu’ils sont le peuple du monde le plus intéressé par la politique. Force est de constater, quand on mène des enquêtes internationales, que c’est une légende. Les questions peuvent-elles être biaisées par leur formulation ? Sans aucun doute, et il arrive que des clients nous proposent des questions biaisées. Il est alors de notre responsabilité de faire en sorte que les questions soient acceptables, ou de refuser de réaliser l’enquête.
Certaines thématiques clivantes sont problématiques, en effet. Je pense par exemple au débat sur la PMA. Un institut (qui n’était pas IPSOS) réalisait des enquêtes d’opinion pour des associations favorables à l’ouverture des droits, et d’autres pour des associations qui y étaient opposées. Cet institut était très critiqué pour cela, mais de mon point de vue, c’était instructif : d’un côté, les Français étaient très majoritairement favorables à l’ouverture des droits à la PMA pour les femmes célibataires et les couples de femmes, et de l’autre, quand on leur demandait quel était le milieu idéal pour qu’un enfant se développe, ils répondaient un couple hétérosexuel. Cela rejoint l’ambivalence dont je parlais plus haut : les Français peuvent très bien juger qu’un couple de femmes peut correctement élever des enfants, tout en disant que la norme (probablement parce qu’ils en sont issus eux-mêmes), c’est le couple hétérosexuel. Cela permet de saisir ces ambivalences de l’opinion, mais je reconnais que ces réponses peuvent être utilisées à des fins partisanes. Je le déplore, et nous devons nous efforcer de le faire savoir quand cela arrive. A nos clients mais aussi à nos partenaires médiatiques.
Sur la convention climat, la méthodologie pour choisir le panel a en effet été basée sur celle des sondages. Cela dénote en effet une certaine fascination, en tous cas dans le cas de cette question, à mi-chemin entre le sondage, la démocratie participative, et la démocratie directe. Cela montre que le sondage peut être un outil utile, mais qu’il doit être utilisé avec parcimonie et parfois avec méfiance.
Je vous disais que les sondages n’étaient qu’un outil parmi d’autres pour motiver la prise de décision de la part des politiques. Mais il est vrai que dans le jeu politique, détenir un sondage, avoir une information avant les autres, est aussi un atout.
Philippe Meyer :
Parler d’un échantillon représentatif de 150 personnes, n’est-ce pas un oxymore ?
Mathieu Gallard :
Tout dépend de votre objectif. Si vous voulez connaître l’opinion de l‘ensemble des Français sur une problématique, alors il est certain que c’est insuffisant (même s’il n’existe pas une taille d’échantillon idéale). Ici, il s’agissait de provoquer une discussion entre des gens et des experts pour faire émerger quelque chose de collectif. C’eût été considérablement plus difficile avec 1 000 personnes. L’intérêt était d’avoir une diversité de profils, et j’imagine d’intérêt pour la politique.
Richard Werly :
Une question très relative aux élections, pour finir. On a longtemps entendu parler de sondages « sortie des urnes ». Cela n’existe plus, comment se fait-il qu’à partir de 18h, alors que les urnes ferment à 20h dans les grandes villes de France, les résultats commencent à circuler ?
Mathieu Gallard :
Pour pouvoir annoncer des résultats à 20h, il faut les obtenir avant, et c’est pourquoi il y a effectivement eu pendant longtemps des sondages « sortie des urnes ». Cela consistait à envoyer des enquêteurs dans divers bureaux de vote jugés représentatifs, pour interroger une personne sur dix. Ce n’était pas une méthode optimale, elle a engendré un certain nombre de ratés. C’est pourquoi une alternative a été mise en place (dans les années 1980 en France) : les estimations. Là, on ne se base plus sur des déclarations d’individus, mais sur des votes réels. Comme vous le savez, dans la plupart des communes rurales, les bureaux de vote ferment à 18h, dans beaucoup de villes moyennes à 19h, et dans les grandes à 20h. On envoie donc des enquêteurs dans les bureaux de vote, qui nous font remonter les résultats sur les 100 premiers bulletins dépouillés, puis les 200 premiers, et ainsi de suite. Ensuite, des algorithmes permettent, parce qu’on connaît les tendances politiques de chacun des bureaux de vote observés par rapport à l’ensemble de la France, d’extrapoler des résultats nationaux. La seule difficulté qui subsiste, c’est quand les résultats électoraux évoluent de manière divergente entre les communes rurales et urbaines. C’est un cas que les extrapolations n’arrivent pas à prendre en compte. C’est arrivé une seule fois en trente ans, c’est pourquoi la méthode est toujours jugée fiable.
