Communication au groupe Ile de France de la société française de l´évaluation, « L´enquête, les grandes oreilles de l´évaluation ? », le 25 novembre 2009
1. L’ENQUÊTE : LES GRANDES
OREILLES DE L'ÉVALUATION ?
Approches, techniques, pièges et intérêts de l'enquête pour
l'évaluation
CLUB SFE D'ILE-DE-FRANCE – 25 NOVEMBRE
Contact 2009
PLURICITÉ
1 cours Verdun
69002 Lyon
Tél. 04 78 28 15 00
Fax. 04 78 28 17 56
www.pluricite.fr
pluricite@pluricite.fr
Thibaut Desjonquères, Alix de Saint-Albin Nov. 2009
2. Sommaire
1- L’enquête : le futur de l’évaluation ?
2- Vigilance pour l’enquête dans l’évaluation
3 - Aspects pratiques de l’enquête dans l’évaluation
4- Conclusion
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 2
3. Thèmes traités lors de la présentation
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 3
4. Les pratiques d’enquêtes pour l’évaluation
► Une utilisation croissante des enquêtes:
Dans l’évaluation :
une extension naturelle des outils de collecte
En dehors de l’évaluation :
via les diagnostics, les tableaux de bord (qualité, satisfaction, etc.)
Au-delà de l’évaluation ? :
pour l’aide directe à la décision (enquête d’image, de notoriété, sondages,
diagnostics, etc.)
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 4
5. L’enquête : le futur de l’évaluation ?
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 5
6. Une enquête suffit-elle à éclairer la décision publique ?
Champ de l’évaluation
Champ de l’enquête
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 6
7. Retour sur expérience
Enseignements Expériences
L’évaluation impossible de la politique « avec l’enquête, on fait de la participation des
de la ville Vs l’enquête habitants ».
Très forte appropriation de l’enquête par le
politique (Pays viennois, Thonon)
Des enquêtes à forte valeur ajoutée Estimation des effets aubaine (Fastt),
analytique Matrice importance-performance (Fastt)
Régressions multiples (écoute habitant)
Analyse du non-recours (CRAM)
Quantifier l’inquantifiable Enquête sur la récidive, le no man’s land de la
statistique judiciaire…une première base pour
penser les causalités (DIV citoyenneté)
Une enquête porte-voix Auprès des opérateurs de politique publique (PLIE)
Une enquête « grandes oreilles » Repérage de signaux faibles, opinions originales et
phénomènes émergents (CRRA)
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 7
8. Sommaire
1- L’enquête : le futur de l’évaluation ?
2- Vigilance pour l’enquête dans l’évaluation
3 - Aspects pratiques de l’enquête dans l’évaluation
4- Conclusion
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 8
9. Avantages et inconvénients des formes d’enquêtes
Face à face lieu
Courrier Internet Téléphone
public/domicile
Impact pour le questionnaire
Longueur possible ** *** * **
Contrôle de l’échantillon * * *** *
Taux de réponse * ** *** **
Impact sur la qualité de l’interview
Capacité à recueillir des
données sensibles *** ** * *
Contrôle de la
compréhension par le * * ** ***
sujet
Réduction du biais de
désirabilité sociale *** *** ** *
Impacts économiques
Facilité d’organisation ** **** *** **
Coût *** **** ** *
Délais de réalisation * **** *** **
D’après : S. Gnassali, « les
enquêtes par quesionnaire »
10. Les enquêtes dans les études marketing, media et opinion
Poids relatif des modes de collecte
2007 : Source Syntec études 30%
25%
20%
Web
Face à face
15%
Dépôt
d
e
T
a
x
r
t
Envoi postal
l
i
'
10% Appel tel
5%
► Exemple d’enquêtes en ligne : 0%
2003 2004 2005 2006
Sollicitation par email ciblé
Source : ESOMAR
Encart sur site Internet
Pop-up sur site Internet
Sollicitation sur access panels d’internautes
Et bientôt sur les réseaus sociaux : Linkedln, viadeo, facebook ?
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 10
11. Principes de l’échantillonnage
► 3 modes d’échantillonnages : aléatoire, par
quotas, de convenance
► Echantillon et représentativité
Pour un échantillon aléatoire : les
intervalles de confiance
Pour un échantillon par quotas : comparaisons
à la population mère et redressements
Les notions de représentativité et de
significativité
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 11
12. Les fichiers de contact
► Les sources de données
Les fichiers « maison »
Les panels
L’annuaire et les fichiers à l’achat
► En pratique, dans l’évaluation:
L’enquête ciblée (bénéficiaires, partenaires)
L’enquête territorialisée (quartier, ville)
L’enquête globale (bénéficiaires potentiels, population générale)
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 12
13. Articulation de l’enquête dans les outils de l’éval (quanti/quali)
Entretiens Enquête
Enquête
L’enchaînement exploratoires confirmatoire
confirmatoire
« classique »
Le quali pour préciser les
questions, l’enquête pour
quantifier les résultats
Approche Enquête de
Enquête de Etudes de cas
typologique « profilage »
« profilage » confirmatoires
Enquête pour cibler les
publics, le quali pour
approfondir certains effets
Enquête
Enquête
D’autres Enquête
Enquête confirmatoire
confirmatoire
approches… exploratoire
exploratoire Etudes de cas
confirmatoires
Pour identifier des impacts
non attendus, puis les
approfondir
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 13
14. Sommaire
1- L’enquête : le futur de l’évaluation ?
2- Vigilance pour l’enquête dans l’évaluation
3 - Aspects pratiques de l’enquête dans l’évaluation
4- Conclusion
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 14
15. Conditions pratiques de mise en oeuvre
► Cadrage budgétaire
Prix au questionnaire Volume « classique » Nbr jours
Enquête en ligne ~5-10 € 50-5000 2-5 j consultant + frais
techniques
Enquête par téléphone ~20-40 € 100-1000 2-5 j consultant + 5 jours
enquêteur pour 100 réponses
Enquête postale ~15 € 50-300 2-5 j consultant + saisie
► Calendrier de l’enquête en évaluation
Lancement à l’issue de la phase de cadrage
1 à 3 semaines 1 à 2 semaines 2 à 8 semaines 1 à 2 semaines
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 15
16. Conclusions et hypothèses
► L’enquête d’évaluation : une fausse bonne idée ?
Un outil « spectateur » plutôt qu’une démarche active
Une fuite du politique par l’imposition d’un référentiel
unique…
Et par la simplification du débat
► Mais toujours une forte pertinence de l’enquête
pour l’évaluation !
Une formidable extension des capacités de collecte…
…dans des conditions pratiques de plus en plus
accessibles
Une force de persuasion inégalée (qui a déjà lu une monographie
d’étude de cas?)
► Une faisabilité technique éprouvée, avec quelques
points de vigilance: Not everything thats counts can
be counted, and not everything
À condition de s’intéresser aussi aux non-répondants!
that can be counted counts
Des résultats à croiser pour « faire sens », sinon,
attention à la noyade!
Albert (1879 – 1955)
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 16
17. Fin de la présentation
Merci de votre attention !
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 17
18. Population accessible selon les modes de passation
Source :
ARCEP, 2009
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 18
Notes de l'éditeur
Donner des exemples récent dans chacune des catégories
Uniformité de la qualité porte la concurrence sur le prix uniquement. Différence entre quali et quanti : Si vous interrogez des personnes dans une approche qualitative, vous vous arrêtez quand vous n’apprenez plus rien de nouveau. A l’inverse, dans une approche quantitative, c’est la répétition des informations qui est intéressante !
Extrait du rapport du Sénat consacré à l’évaluation : (2004, Joël BOURDIN, Pierre ANDRÉ, Jean-Pierre PLANCADE) « La qualité des méthodes d'évaluation suppose aussi le choix d'outils pertinents . A cet égard, le rapport regrette que la DPD procède largement par questionnaires , recueillant ainsi sur les pratiques pédagogiques des déclarations plutôt que des observations et qu'elle ne porte pas véritablement de jugement évaluatif, se contentant trop souvent de restitutions purement descriptives ». DPD : direction de la programmation et du développement
SYNTEC Etudes Marketing et Opinion est le syndicat majoritaire de la branche des professionnels des études en France Il compte 64 membres. Syntec estime que plus 25 millions d’interviews sont réalisés chaque année, dont plus de la moitié réalisés par les 10 gros.
Nota : la représentativité s’évalue la popluation des répondants, pas des sondés Les formes de redressement :
Les panels représentent 42% de l’activité SEMO. Principal intérêt : former des cohortes suivies dans le temps. L’annuaire : 10 à 20% de liste rouge + mobiles seulement. Fichiers à l’achat : quelles garantie de qualité? Fichiers: entre 20 cts et qlq euros du contact (HT)
Et ajouter un dernier usage des enquêtes, comme outil de suivi évaluation : Utiliser un questionnaire comme formulaire de suivi d’activité et de résultat. Les outils techniques de l’enquête permettent très facilement de mettre en place un questionnaire sur Internet « à l’année », disponible aux opérateurs, et qui produit autoamtiquement et en instantané une synthèse des opérations. Pour un coût extrêmement modique, la collectivité/chef de projet s’equippe ainsi d’un système proche de celui de Poliville (PRESAGE) !
Fichiers maison : problèmes d’exhausitivité, de fraîcheur des contacts Les Panels : qui sont-ils ? Quelle qualité? L’annuaire : 45% des ménages seulement sont dans l’annuaire Fichiers à l’achat : fournisseurs, idées de prix, Pages jaunes marketing service
Tout ce qui compte n’est pas compté ; mais ce qui est compté…n’est pas forcément ce qui compte !
CATI : 40 millions d'abonnements à un service de téléphonie fixe en France (pour combien de ménages?). Plus du tiers des abonnements est sur ligne IP (Adsl, cable) et 22% est IP seulement !. 10 à 20% de listes rouge. Mobiles seulement : Jeunes CSP moins. Source ARCEP T2 2009 CAWI : entre 50% et 75% de la population à accès à internet chez soi !