L’enquête, les grandes oreilles de l’évaluation ?

521 vues

Publié le

Communication au groupe Ile de France de la société française de l´évaluation, « L´enquête, les grandes oreilles de l´évaluation ? », le 25 novembre 2009

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
521
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
6
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Donner des exemples récent dans chacune des catégories
  • Uniformité de la qualité porte la concurrence sur le prix uniquement. Différence entre quali et quanti : Si vous interrogez des personnes dans une approche qualitative, vous vous arrêtez quand vous n’apprenez plus rien de nouveau. A l’inverse, dans une approche quantitative, c’est la répétition des informations qui est intéressante !
  • Extrait du rapport du Sénat consacré à l’évaluation : (2004,  Joël BOURDIN, Pierre ANDRÉ, Jean-Pierre PLANCADE) «  La qualité des méthodes d'évaluation suppose aussi le choix d'outils pertinents . A cet égard, le rapport regrette que la DPD procède largement par questionnaires , recueillant ainsi sur les pratiques pédagogiques des déclarations plutôt que des observations et qu'elle ne porte pas véritablement de jugement évaluatif, se contentant trop souvent de restitutions purement descriptives ». DPD : direction de la programmation et du développement
  • SYNTEC Etudes Marketing et Opinion est le syndicat majoritaire de la branche des professionnels des études en France Il compte 64 membres. Syntec estime que plus 25 millions d’interviews sont réalisés chaque année, dont plus de la moitié réalisés par les 10 gros.
  • Nota : la représentativité s’évalue la popluation des répondants, pas des sondés Les formes de redressement :
  • Les panels représentent 42% de l’activité SEMO. Principal intérêt : former des cohortes suivies dans le temps. L’annuaire : 10 à 20% de liste rouge + mobiles seulement. Fichiers à l’achat : quelles garantie de qualité? Fichiers: entre 20 cts et qlq euros du contact (HT)
  • Et ajouter un dernier usage des enquêtes, comme outil de suivi évaluation : Utiliser un questionnaire comme formulaire de suivi d’activité et de résultat. Les outils techniques de l’enquête permettent très facilement de mettre en place un questionnaire sur Internet «  à l’année », disponible aux opérateurs, et qui produit autoamtiquement et en instantané une synthèse des opérations. Pour un coût extrêmement modique, la collectivité/chef de projet s’equippe ainsi d’un système proche de celui de Poliville (PRESAGE) !
  • Fichiers maison : problèmes d’exhausitivité, de fraîcheur des contacts Les Panels : qui sont-ils ? Quelle qualité? L’annuaire : 45% des ménages seulement sont dans l’annuaire Fichiers à l’achat : fournisseurs, idées de prix, Pages jaunes marketing service
  • Tout ce qui compte n’est pas compté ; mais ce qui est compté…n’est pas forcément ce qui compte !
  • CATI : 40 millions d'abonnements à un service de téléphonie fixe en France (pour combien de ménages?). Plus du tiers des abonnements est sur ligne IP (Adsl, cable) et 22% est IP seulement !. 10 à 20% de listes rouge. Mobiles seulement : Jeunes CSP moins. Source ARCEP T2 2009 CAWI : entre 50% et 75% de la population à accès à internet chez soi !
  • L’enquête, les grandes oreilles de l’évaluation ?

    1. 1. L’ENQUÊTE : LES GRANDES OREILLES DE LÉVALUATION ? Approches, techniques, pièges et intérêts de lenquête pour lévaluation CLUB SFE DILE-DE-FRANCE – 25 NOVEMBRE Contact 2009 PLURICITÉ 1 cours Verdun 69002 Lyon Tél. 04 78 28 15 00 Fax. 04 78 28 17 56 www.pluricite.fr pluricite@pluricite.frThibaut Desjonquères, Alix de Saint-Albin Nov. 2009
    2. 2. Sommaire 1- L’enquête : le futur de l’évaluation ? 2- Vigilance pour l’enquête dans l’évaluation 3 - Aspects pratiques de l’enquête dans l’évaluation 4- Conclusion L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 2
    3. 3. Thèmes traités lors de la présentation L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 3
    4. 4. Les pratiques d’enquêtes pour l’évaluation► Une utilisation croissante des enquêtes:  Dans l’évaluation : ­ une extension naturelle des outils de collecte  En dehors de l’évaluation : ­ via les diagnostics, les tableaux de bord (qualité, satisfaction, etc.)  Au-delà de l’évaluation ? : ­ pour l’aide directe à la décision (enquête d’image, de notoriété, sondages, diagnostics, etc.) L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 4
    5. 5. L’enquête : le futur de l’évaluation ? L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 5
    6. 6. Une enquête suffit-elle à éclairer la décision publique ? Champ de l’évaluation Champ de l’enquête L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 6
    7. 7. Retour sur expérience Enseignements ExpériencesL’évaluation impossible de la politique « avec l’enquête, on fait de la participation desde la ville Vs l’enquête habitants ». Très forte appropriation de l’enquête par le politique (Pays viennois, Thonon)Des enquêtes à forte valeur ajoutée Estimation des effets aubaine (Fastt),analytique Matrice importance-performance (Fastt) Régressions multiples (écoute habitant) Analyse du non-recours (CRAM)Quantifier l’inquantifiable Enquête sur la récidive, le no man’s land de la statistique judiciaire…une première base pour penser les causalités (DIV citoyenneté)Une enquête porte-voix Auprès des opérateurs de politique publique (PLIE)Une enquête « grandes oreilles » Repérage de signaux faibles, opinions originales et phénomènes émergents (CRRA) L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 7
    8. 8. Sommaire 1- L’enquête : le futur de l’évaluation ? 2- Vigilance pour l’enquête dans l’évaluation 3 - Aspects pratiques de l’enquête dans l’évaluation 4- Conclusion L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 8
    9. 9. Avantages et inconvénients des formes d’enquêtes Face à face lieu Courrier Internet Téléphone public/domicile Impact pour le questionnaireLongueur possible ** *** * **Contrôle de l’échantillon * * *** *Taux de réponse * ** *** ** Impact sur la qualité de l’interviewCapacité à recueillir desdonnées sensibles *** ** * *Contrôle de lacompréhension par le * * ** ***sujetRéduction du biais dedésirabilité sociale *** *** ** * Impacts économiquesFacilité d’organisation ** **** *** **Coût *** **** ** *Délais de réalisation * **** *** ** D’après : S. Gnassali, « les enquêtes par quesionnaire »
    10. 10. Les enquêtes dans les études marketing, media et opinion Poids relatif des modes de collecte 2007 : Source Syntec études 30% 25% 20% Web Face à face 15% Dépôt d e T a x r t Envoi postal l i 10% Appel tel 5%► Exemple d’enquêtes en ligne : 0% 2003 2004 2005 2006  Sollicitation par email ciblé Source : ESOMAR  Encart sur site Internet  Pop-up sur site Internet  Sollicitation sur access panels d’internautes  Et bientôt sur les réseaus sociaux : Linkedln, viadeo, facebook ? L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 10
    11. 11. Principes de l’échantillonnage► 3 modes d’échantillonnages : aléatoire, par quotas, de convenance► Echantillon et représentativité  Pour un échantillon aléatoire : les intervalles de confiance  Pour un échantillon par quotas : comparaisons à la population mère et redressements  Les notions de représentativité et de significativité L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 11
    12. 12. Les fichiers de contact► Les sources de données  Les fichiers « maison »  Les panels  L’annuaire et les fichiers à l’achat► En pratique, dans l’évaluation:  L’enquête ciblée (bénéficiaires, partenaires)  L’enquête territorialisée (quartier, ville)  L’enquête globale (bénéficiaires potentiels, population générale) L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 12
    13. 13. Articulation de l’enquête dans les outils de l’éval (quanti/quali) Entretiens Enquête EnquêteL’enchaînement exploratoires confirmatoire confirmatoire « classique » Le quali pour préciser les questions, l’enquête pour quantifier les résultats Approche Enquête de Enquête de Etudes de castypologique « profilage » « profilage » confirmatoires Enquête pour cibler les publics, le quali pour approfondir certains effets Enquête Enquête D’autres Enquête Enquête confirmatoire confirmatoire approches… exploratoire exploratoire Etudes de cas confirmatoires Pour identifier des impacts non attendus, puis les approfondir L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 13
    14. 14. Sommaire 1- L’enquête : le futur de l’évaluation ? 2- Vigilance pour l’enquête dans l’évaluation 3 - Aspects pratiques de l’enquête dans l’évaluation 4- Conclusion L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 14
    15. 15. Conditions pratiques de mise en oeuvre ► Cadrage budgétaire Prix au questionnaire Volume « classique » Nbr jours Enquête en ligne ~5-10 € 50-5000 2-5 j consultant + frais techniques Enquête par téléphone ~20-40 € 100-1000 2-5 j consultant + 5 jours enquêteur pour 100 réponses Enquête postale ~15 € 50-300 2-5 j consultant + saisie ► Calendrier de l’enquête en évaluation  Lancement à l’issue de la phase de cadrage1 à 3 semaines 1 à 2 semaines 2 à 8 semaines 1 à 2 semaines L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 15
    16. 16. Conclusions et hypothèses► L’enquête d’évaluation : une fausse bonne idée ?  Un outil « spectateur » plutôt qu’une démarche active  Une fuite du politique par l’imposition d’un référentiel unique…  Et par la simplification du débat► Mais toujours une forte pertinence de l’enquête pour l’évaluation !  Une formidable extension des capacités de collecte…  …dans des conditions pratiques de plus en plus accessibles  Une force de persuasion inégalée (qui a déjà lu une monographie d’étude de cas?)► Une faisabilité technique éprouvée, avec quelques points de vigilance: Not everything thats counts can be counted, and not everything  À condition de s’intéresser aussi aux non-répondants! that can be counted counts   Des résultats à croiser pour « faire sens », sinon, attention à la noyade! Albert (1879 – 1955) L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 16
    17. 17. Fin de la présentation Merci de votre attention ! L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 17
    18. 18. Population accessible selon les modes de passation Source : ARCEP, 2009 L’enquête : les grandes oreilles de lévaluation ? SFE Ile-de-France 25/11/09 18

    ×