Mots-clés

Questionnaire

ou comment produire du sens au-delà des chiffres

« L’obsession du sens vaut mieux que l’obsession de la mesure ». Comment faire une enquête qui produit du sens plutôt qu’uniquement des chiffres, quand le mot est précisément l’instrument de mesure qui permet de produire les chiffres, et qu’il entraine nécessairement des interprétations ? Cet article propose quelques ingrédients de l’élaboration de questionnaires « représentatifs », qui parlent aux gens. Un indice : s’entretenir avec eux… mais avant ou après l’élaboration du questionnaire ?

Les enquêtes par questionnaire ont un côté rigoureux.
L’autre, on y pense moins.

Tout le monde sait qu’il est important qu’un échantillon soit représentatif pour qu’on puisse accorder une portée scientifique aux résultats d’un questionnaire.
Cela n’est pas si compliqué. Il suffit de s’assurer du caractère strictement aléatoire de la sélection. Ou d’utiliser la technique des quotas pour donner au moins l’apparence de la représentativité.
Mais quand on s’est assuré du caractère bien scientifique de l’extraction de l’échantillon, il reste une faiblesse de taille : dans les résultats d’un questionnaire (qu’il s’agisse de l’élevage des poulets au grain dans les départements français, ou de l’apparition des candidats politiques dans les émissions télévisées…), il n’y a jamais de chiffres qui se promènent tous seuls. Ils sont liés à des mots. Et pire encore, ces mots sont liés à du sens, matière plus ou moins fluctuante d’un individu à l’autre.

Il faut bannir les mots dans les enquêtes par questionnaire

On ne se méfiera jamais assez du caractère pernicieux des mots. Un pourcentage apporte beaucoup plus de satisfactions, il est bien net, on peut le calculer avec deux chiffres après la virgule ou plus encore. On sait que 10%, c’est plus que 5%. Mais, de même que le crime conduit au mensonge et à la dissimulation, les mots entraînent des interprétations. Et parfois 5% deviennent plus importants que 10%.
Plus grave encore, les mots se prêtent à des interprétations au moment même où les répondants lisent les questionnaires. Et bien souvent, ils répondent en fonction de ce qu’ils comprennent au lieu de répondre à la question que certains faiseurs de questionnaires ont cru leur poser.
Il faut donc totalement supprimer les mots dans les questionnaires. Ils risquent de fausser les résultats et d’induire des erreurs d’interprétation.

Apprécier le sens des mots avant de les rentrer de force dans un questionnaire

Oui, mais alors surgit une difficulté. C’est que les mots constituent précisément l’instrument de mesure qui permet de produire les chiffres. Sans les mots, pas de chiffres.
On peut se dire qu’on ne peut pas contrôler la représentativité d’un questionnaire comme on peut le faire (en principe) de la représentativité d’un échantillon. Comment prouver que les questions qu’on pose sont bien celles qui se posent ?
On peut aussi se dire qu’après tout, si les questions sont en français, les répondants qui maîtrisent cette langue vont comprendre et vont donner des réponses. L’important est de poser les questions qu’on a envie de poser. Mais les questions telles que les personnes interrogées les comprennent sont-elles bien identiques à celles qui leur sont posées ?
S’il existait un outil capable de mesurer la représentativité d’un questionnaire, combien d’enquêtes apparaîtraient alors complètement dénuées de sens !
La mesure de la représentativité d’un questionnaire n’existe pas, malheureusement. Mais les moyens de s’en rapprocher existent. Il faut méticuleusement analyser les situations telles qu’elles apparaissent aux yeux des personnes à interroger au départ. Il faut apprécier le sens qu’ont les mots pour les personnes interrogées avant de rédiger les questions. Comment faire si l’on n’a pas eu l’occasion d’écouter au préalable plusieurs de ces personnes pour savoir ce qu’elles disent et comment elles le disent ?

Entretiens avant ou après une enquête par questionnaire ?

Soyons catégorique : il faut absolument mener des entretiens après un questionnaire… quand on s’aperçoit que celui-ci a été mal fait. C’est le moyen de s’apercevoir que les questions ont été mal posées, qu’elles sont difficilement compréhensibles pour les personnes qui doivent y répondre, ou qu’elles induisent des sens ou des réponses qui posent problème à l’interprétation. C’est le moyen aussi de s’apercevoir que des pans entiers de réalité ont été omis dans la rédaction des questions, empêchant ainsi de comprendre de façon approfondie les préoccupations ou les réactions des répondants et la façon dont celles-ci s’enchaînent les unes aux autres.
En général, sauf cas particulier, c’est avant l’enquête par questionnaire qu’il faut aller écouter des personnes appartenant à la population qu’on souhaite interroger. C’est le moyen de se détourner des problématiques telles qu’elles ont été posées a priori et de retrouver au travers des propos des personnes rencontrées une façon de structurer les choses, un ensemble d’idées, de vécus, de représentations, au départ insoupçonnés.
Attention, il faut jouer le jeu de l’écoute active, mais non directive. Maîtriser les techniques du questionnement sans induire du contenu, pour ne pas enfermer l’interlocuteur dans un univers qui ne serait pas le sien, et le laisser libre de développer ses propos en fonction de son propre cadre de référence à lui.
C’est à cette condition qu’on se rapprochera le plus d’un questionnaire véritablement représentatif.

Publié le
15 mars 2017
Photo couv.

Denis Meyer / Hans Lucas.

Les Lilas. France, le 06 decembre 2015.
Régionales 2015 Ile de France, 1er tour de scrutin.
Crédit photo : Xavier de Torres / Hans Lucas

Qu’est-ce qu’un questionnaire représentatif ?

  1. un questionnaire où la formulation des questions en facilite la compréhension immédiate par ceux auxquels elles sont posées : il n’y a aucun temps de latence prolongé entre la lecture et le moment où on croit avoir compris,
  2. un questionnaire où les questions posées représentent un ensemble complet et cohérent permettant de couvrir de façon exhaustive les thèmes essentiels liés à un sujet pour la population des personnes interrogées.

C’est à cette condition qu’une enquête sera porteuse de résultats fiables.
A la rigueur, si l’échantillon n’est pas strictement représentatif mais que les biais sont identifiés, on peut en tirer des enseignements.
Si l’instrument de mesure, le questionnaire, est biaisé, l’enquête est à jeter, quelles que soient les précautions qui auront été prises pour assurer la représentativité de l’échantillon.
L’obsession du sens vaut mieux que l’obsession de la mesure.