Le concept de mécanisme
et l‘approche réaliste en évaluation: clarifier le concept
pour en faciliter son opérationnalisati...
Contexte (1)

Programme AAPRISS (Lang et al, 2012)
- Tâche 1: Analyse et théorisation des programmes visant la
réduction d...
Contexte (2)

Pourquoi l’approche réaliste ? (Pawson et Tilley, 1997)

- Explique comment et POURQUOI une intervention fon...
Un nouveau visage de l’évaluation de programme?
Fondements épistémologiques
- Evaluation fondée sur la théorie de
programm...
Fondements épistémologiques
Causalité
générative

Contexte (C)

Mécanisme (M)
Effet (E)
Intervention (I)
Effet (E’)
(Pawso...
Outils conceptuels (1)
Théorie de programme
(Pawson, 2006)

THEORIE DE PROGRAMME
(Logique d’une intervention CME)
Ensemble...
Outils conceptuels (2)
Configuration(s) CME

THEORIE DE PROGRAMME
(Logique d’une intervention CME)

(D’après Pawson et Til...
Outils conceptuels (3)
Théorie de moyenne portée
Niveau d’abstraction théorique qui
permet d’expliquer les tendances
et le...
Outils méthodologiques
TMP initiale

Etudes
primaires
empiriques

2 démarches
évaluatives
complémentaires

Revue réaliste
...
Le concept de « mécanisme », de quoi parle-t-on?

M.Plazy - Conséquences conjugales d'une intervention22ème colloque annue...
Concept de mécanisme (1)
Ce que disent les auteurs-utilisateurs

Débat très récent dans le domaine de l’évaluation à l’ins...
Concept de mécanisme (2)
Méthode
Scoping study (Mays et al, 2001; Arskey et O’Malley, 2005; Grimshaw, 2011)
-

Analyser le...
Concept de mécanisme (3)
Résultats

A. LACOUTURE – Concours étudiant – de COC prénatal - M2 SQEP – 18 octobre 2013 18 M.Pl...
Concept de mécanisme (4)
Proposition d’une définition
1) Caché mais réel
– A caractériser selon l’enchâssement de l’interv...
Concept de mécanisme (5)
Exemple (Evans et Killoran, 2000)
Contexte: La politique de santé du gouvernement britannique sou...
Concept de mécanisme (5)
Exemple (Evans et Killoran, 2000)
Contexte: La politique de santé du gouvernement britannique sou...
Concept de mécanisme (5)
Exemple (Evans et Killoran, 2000)
Contexte: La politique de santé du gouvernement britannique sou...
Concept de mécanisme (5)
Exemple (Evans et Killoran, 2000)
Contexte: La politique de santé du gouvernement britannique sou...
Concept de mécanisme (6)
Vers une typologie de mécanismes?
Niveaux d’analyse des mécanismes en sciences sociales (Astbury ...
Conclusion
L’approche réaliste en évaluation de programme…

Une
courtepointe
en construction!
M.Plazy - Conséquences conju...
Remerciements

Pr Thierry Lang et l’équipe du programme de recherche
interventionnelle AAPRISS financé par l’ Agence Natio...
Merci de votre attention !

anthony.lacouture@umontreal.ca

M.Plazy - Conséquences conjugales d'une intervention de COC pr...
Bibliographie
Astbury, B., & Leeuw, F. L. (2010). Unpacking Black Boxes: Mechanisms and Theory Building in
Evaluation. Ame...
Prochain SlideShare
Chargement dans…5
×

Le concept de mécanisme et l'approche réaliste en évaluation de programme

1 301 vues

Publié le

Cette présentation s'est donnée dans le cadre du 22ème colloque de la Société québécoise d'évaluation de programme, intitulé "Courtepointe à la québécoise, ou les multiples visages de l'évaluation de programme en 2013".
Ce colloque s'est tenu les 17 et 18 octobre 2013 à l'Ecole nationale de l'administration publique (ENAP) à Québec.

Lacouture A., Ridde V., Breton E., Guichard A. Le concept de mécanisme et l'approche réaliste en évaluation: clarifier le concept pour en faciliter son opérationnalisation. 22ème colloque annuel Société québécoise d'évaluation de programme. Courtepointe à la québécoise ou les multiples visages de l¹évaluation de programme. ENAP, Québec, Canada. 17-18 octobre 2013.

0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 301
Sur SlideShare
0
Issues des intégrations
0
Intégrations
24
Actions
Partages
0
Téléchargements
11
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Le concept de mécanisme et l'approche réaliste en évaluation de programme

  1. 1. Le concept de mécanisme et l‘approche réaliste en évaluation: clarifier le concept pour en faciliter son opérationnalisation. Anthony Lacouture, PhD(c) Santé publique (ESPUM) Valéry Ridde, PhD (CRCHUM); Eric Breton, PhD (EHESP); Anne Guichard, PhD (ULaval) A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 1
  2. 2. Contexte (1) Programme AAPRISS (Lang et al, 2012) - Tâche 1: Analyse et théorisation des programmes visant la réduction des ISS avant la mise en œuvre d’une intervention. Evaluations fondées sur la théorie de programme (Chen et Rossi, 1980, 1987; Weiss, 1997) - Expliciter la théorie (logique d’intervention et mécanismes). A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 2
  3. 3. Contexte (2) Pourquoi l’approche réaliste ? (Pawson et Tilley, 1997) - Explique comment et POURQUOI une intervention fonctionne (ou non) dans quelles circonstances et auprès de qui. - Prise en compte d’une multiplicité de CONTEXTES. - Spécificité des interventions en santé des populations dans un système OUVERT. A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 3
  4. 4. Un nouveau visage de l’évaluation de programme? Fondements épistémologiques - Evaluation fondée sur la théorie de programme - Réalisme critique Outils conceptuels et méthodologiques - Configurations CME / Semi-régularités - Théorie de programme - Théorie de moyenne portée Focus sur le concept de mécanisme A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 4
  5. 5. Fondements épistémologiques Causalité générative Contexte (C) Mécanisme (M) Effet (E) Intervention (I) Effet (E’) (Pawson et Tilley, 1997) Semi-régularités (Lawson, 1997) « Semi » en raison des variations des effets qui peuvent être attribués aux différences de contexte. A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 5
  6. 6. Outils conceptuels (1) Théorie de programme (Pawson, 2006) THEORIE DE PROGRAMME (Logique d’une intervention CME) Ensemble des hypothèses qui expliquent la manière dont (comment et pourquoi) l’intervention est supposée produire ses effets (Ridde et al, 2012) DONNEES EMPIRIQUES (C) (M) (E) M.Plazy - Conséquences conjugales Concours étudiant COC prénatal du VIH du VIH - M2 Epidémio ISPED - 18 avril A. LACOUTURE – d'une intervention 22 COC prénatal - M2 Epidémio 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de – de ème colloque annuel SQEP –ISPED - 17 janvier 2010 6 2011 - 6 3
  7. 7. Outils conceptuels (2) Configuration(s) CME THEORIE DE PROGRAMME (Logique d’une intervention CME) (D’après Pawson et Tilley, 2004) Raisonnement abductif DONNEES EMPIRIQUES (C) (M) (E) M.Plazy - Conséquences conjugales Concours étudiant COC prénatal du VIH du VIH - M2 Epidémio ISPED - 18 avril A. LACOUTURE – d'une intervention 22 COC prénatal - M2 Epidémio 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de – de ème colloque annuel SQEP –ISPED - 17 janvier 2010 7 2011 - 6 3
  8. 8. Outils conceptuels (3) Théorie de moyenne portée Niveau d’abstraction théorique qui permet d’expliquer les tendances et les régularités observées dans les interactions contextemécanisme-effet d’un ensemble d’interventions (Ridde et al, 2011) (Abstraction) THEORIE DE MOYENNE PORTEE (Un ensemble d’interventions CME) THEORIE DE PROGRAMME (Logique d’une intervention CME) Une étude empirique DONNEES EMPIRIQUES (C) (M) (E) Semi-régularités CME (Empirie) M.Plazy - Conséquences conjugales Concours étudiant COC prénatal du VIH du VIH - M2 Epidémio ISPED - 18 avril A. LACOUTURE – d'une intervention 22 COC prénatal - M2 Epidémio 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de – de ème colloque annuel SQEP –ISPED - 17 janvier 2010 8 2011 - 6 3
  9. 9. Outils méthodologiques TMP initiale Etudes primaires empiriques 2 démarches évaluatives complémentaires Revue réaliste - TMP affinée (provisoire) Une famille d’interventions TMP Evaluation réaliste - Une intervention Théorie de programme (D’après Robert, 2012) A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 9
  10. 10. Le concept de « mécanisme », de quoi parle-t-on? M.Plazy - Conséquences conjugales d'une intervention22ème colloque annuelEpidémio ISPED - 17 ISPED - 18 A. LACOUTURE – Concours étudiant – de COC prénatal - M2 SQEP – 18 octobre 2013 – 10 M.Plazy - Conséquences conjugalesd'une intervention de COC prénatal du VIH du VIH - M2 Epidémio janvier 2010 avril 2011 - 6 3
  11. 11. Concept de mécanisme (1) Ce que disent les auteurs-utilisateurs Débat très récent dans le domaine de l’évaluation à l’instar des sciences sociales - Un article (Astbury & Leeuw, 2010) Deux recensions (Marchal et al, 2012; Ridde et al, 2012) Nécessité de clarifier le concept de mécanisme (Marchal et al, 2012) - Pour une pratique des plus cohérentes Démarche évaluative imprécise M.Plazy - Conséquences conjugales d'une intervention 22 prénatal du VIH du VIH - M2 ISPED - 17 ISPED - 18 avril M.Plazy - Conséquences conjugalesd'une intervention de–COCème colloque annuelEpidémioEpidémio janvier 201011 2011 - 6 3 A. LACOUTURE – Concours étudiant de COC prénatal - M2 SQEP – 18 octobre 2013 – -
  12. 12. Concept de mécanisme (2) Méthode Scoping study (Mays et al, 2001; Arskey et O’Malley, 2005; Grimshaw, 2011) - Analyser les définitions théoriques du concept de mécanisme s’inscrivant dans le courant de l’approche réaliste Proposer une définition du concept Cadre conceptuel Sens CLARTE PRECISION (Qualité terminologique) (Pouvoir discriminant) CONCEPT Terme Référent Figure 1 : Les trois dimensions d’un concept (adaptée de Gerring, 1999 ; Sartori, 2009 ; Daigneault & Jacob, 2012) M.Plazy - Conséquences conjugales d'une intervention 22 prénatal du VIH du VIH - M2 ISPED - 17 ISPED - 18 avril A. LACOUTURE – Concours étudiant de COC prénatal - M2 SQEP – 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de–COCème colloque annuelEpidémioEpidémio janvier 201012 2011 - 6 3
  13. 13. Concept de mécanisme (3) Résultats A. LACOUTURE – Concours étudiant – de COC prénatal - M2 SQEP – 18 octobre 2013 18 M.Plazy - Conséquences conjugales d'une intervention22ème colloque annuel Epidémio ISPED - 17 ISPED - – 13 M.Plazy - Conséquences conjugalesd'une intervention de COC prénatal du VIH du VIH - M2 Epidémio janvier 2010 avril 2011 - 6 3
  14. 14. Concept de mécanisme (4) Proposition d’une définition 1) Caché mais réel – A caractériser selon l’enchâssement de l’intervention dans les différentes strates de la réalité sociale (réel, actuel et empirique) – Sensible aux variations du contexte (micro, méso et macro) – Produit des effets 2) Résultante de l’interaction entre agent et structure – Elément de raisonnement individuel ou collectif face à une intervention au regard de la capacité à utiliser les ressources disponibles 3) Elément de processus dynamique(s) au sein d’un système spatiotemporel et social ouvert – Famille de mécanismes (multiplicité) – Feedbacks M.Plazy - Conséquences conjugales d'une intervention 22 prénatal du VIH du VIH - M2 ISPED - 17 ISPED - 18 avril A. LACOUTURE – Concours étudiant de COC prénatal - M2 SQEP – 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de–COCème colloque annuelEpidémioEpidémio janvier 201014 2011 - 6 3
  15. 15. Concept de mécanisme (5) Exemple (Evans et Killoran, 2000) Contexte: La politique de santé du gouvernement britannique soutient fortement le travail en partenariat au niveau local et le présente comme un mécanisme clé pour lutter contre les inégalités de santé. Intervention: Programme de deux ans de l’Health Education Authority. Objectif: Comprendre comment les mécanismes ont fonctionné dans le cadre d'un changement de politique nationale et locale, quels sont ceux qui ont été mobilisés, dans quelles circonstances et pour qui. Méthode: Etude de cas - Test de 5 modèles différents de travail partenarial. Regroupement des mécanismes en 6 thèmes: 1) vision stratégique partagée, 2) leadership et gestion, 3) relations et appropriation au niveau local, 4) responsabilité, 5) préparation organisationnelle locale et 6) réactivité à un environnement changeant. M.Plazy - Conséquences conjugales d'une intervention 22 prénatal du VIH du VIH - M2 ISPED - 17 ISPED - 18 avril A. LACOUTURE – Concours étudiant de COC prénatal - M2 SQEP – 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de–COCème colloque annuelEpidémioEpidémio janvier 201015 2011 - 6 3
  16. 16. Concept de mécanisme (5) Exemple (Evans et Killoran, 2000) Contexte: La politique de santé du gouvernement britannique soutient fortement le travail en partenariat au niveau local et le présente comme un mécanisme clé pour lutter contre les inégalités de santé. CONTEXTE : Conditions dans lesquelles l’intervention est introduite, qui préexistent même avant sa mise en œuvre. - Social, culturel, historique ou politique. - Permet ou limite l’action des agents. - 4 niveaux: individuel, interpersonnel, institutionnel, contexte plus large (Pawson et al, 2005)  Favorable ou non au fonctionnement des mécanismes  Possibilité de modifier la capacité des mécanismes à produire l’effet  Possibilité de modifier leur comportement M.Plazy - Conséquences conjugales d'une intervention 22 prénatal du VIH du VIH - M2 ISPED - 17 ISPED - 18 avril A. LACOUTURE – Concours étudiant de COC prénatal - M2 SQEP – 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de–COCème colloque annuelEpidémioEpidémio janvier 201016 2011 - 6 3
  17. 17. Concept de mécanisme (5) Exemple (Evans et Killoran, 2000) Contexte: La politique de santé du gouvernement britannique soutient fortement le travail en partenariat au niveau local et le présente comme un mécanisme clé pour lutter contre les inégalités de santé. Intervention: Programme de deux ans de l’Health Education Authority. Les attributs du concept de l’INTERVENTION découlent d’une approche plus globale (de l’ordre des stratégies et des activités mises en œuvre) M.Plazy - Conséquences conjugales d'une intervention 22 prénatal du VIH du VIH - M2 ISPED - 17 ISPED - 18 avril A. LACOUTURE – Concours étudiant de COC prénatal - M2 SQEP – 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de–COCème colloque annuelEpidémioEpidémio janvier 201017 2011 - 6 3
  18. 18. Concept de mécanisme (5) Exemple (Evans et Killoran, 2000) Contexte: La politique de santé du gouvernement britannique soutient fortement le travail en partenariat au niveau local et le présente comme un mécanisme clé pour lutter contre les inégalités de santé. Intervention: Programme de deux ans de l’Health Education Authority. Objectif: Comprendre comment les mécanismes ont fonctionné dans le cadre d'un changement de politique nationale et locale, quels sont ceux qui ont été mobilisés, dans quelles circonstances et pour qui. Identification et caractérisation des Méthode: Etude de cas - Test de 5 modèles différents de travail partenarial. mécanismes Regroupement des mécanismes en 6 thèmes: 1) vision stratégique partagée, 2) leadership et gestion, 3) relations et appropriation au niveau local, 4) responsabilité, 5) préparation organisationnelle locale et 6) réactivité à un environnement changeant. M.Plazy - Conséquences conjugales d'une intervention 22 prénatal du VIH du VIH - M2 ISPED - 17 ISPED - 18 avril A. LACOUTURE – Concours étudiant de COC prénatal - M2 SQEP – 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de–COCème colloque annuelEpidémioEpidémio janvier 201018 2011 - 6 3
  19. 19. Concept de mécanisme (6) Vers une typologie de mécanismes? Niveaux d’analyse des mécanismes en sciences sociales (Astbury et Leeuw, 2010; Hedström & Swedberg, 1998; Anderson et al, 2006) Niveau Macro Mécanismes transformationnels Mécanismes situationnels Niveau Micro Mécanisme action-formation INTERVENTION A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 19
  20. 20. Conclusion L’approche réaliste en évaluation de programme… Une courtepointe en construction! M.Plazy - Conséquences conjugales d'une intervention 22 prénatal du VIH du VIH - M2 ISPED - 17 ISPED - 18 avril A. LACOUTURE – Concours étudiant de COC prénatal - M2 SQEP – 18 octobre 2013 – M.Plazy - Conséquences conjugalesd'une intervention de–COCème colloque annuelEpidémioEpidémio janvier 201020 2011 - 6 3
  21. 21. Remerciements Pr Thierry Lang et l’équipe du programme de recherche interventionnelle AAPRISS financé par l’ Agence Nationale de la Recherche (ANR 11 INEG 003 01). Pr Eric Breton, titulaire de la Chaire Inpes « Promotion de la santé » à l’EHESP, financée par l’Institut national de prévention et d’éducation pour la santé (Inpes). Pr Valéry Ridde et Pr Anne Guichard. A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 21
  22. 22. Merci de votre attention ! anthony.lacouture@umontreal.ca M.Plazy - Conséquences conjugales d'une intervention de COC prénatal du VIH - M2 Epidémio ISPED - 17 janvier 2010 - M.Plazy - Conséquences conjugales d'une intervention de COC prénatal du VIH - M2 Epidémio ISPED - 18 avril 2011 - 10 7 A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 22
  23. 23. Bibliographie Astbury, B., & Leeuw, F. L. (2010). Unpacking Black Boxes: Mechanisms and Theory Building in Evaluation. American Journal of Evaluation, 31(3), 363-381. Daigneault P-M. & Jacob, S. (2012), « Les concepts souffrent-ils de négligence bénigne en sciences sociales? Éléments d’analyse conceptuelle et examen exploratoire de la littérature francophone à caractère méthodologique », Social Science Information-Information sur les Sciences Sociales, vol. 51, n°2, pp. 188-204. Lang, T. (2012). Un programme de recherche interventionnelle pour réduire les inégalités sociales de santé : Aapriss (Apprendre et Agir pour réduire les inégalités sociales de santé). Atelier Prévenir les problèmes liés au poids de façon durable et équitable : un regard France-Québec. JASP, 28 novembre 2012.http://jasp.inspq.qc.ca/Data/Sites/1/SharedFiles/presentations/2012/jasp2012_28nov_probleme poids_france_qc_tlang.pdf Marchal, B., Van Belle, S., Van Olmen, J., Hoerée, T., & Kegels, G. (2012). Is Realist Evaluation Keeping Its Promise? A Review of Published Empirical Studies in the Field of Health Systems Research. Evaluation, 18(2), 192-212. Pawson, R., & Tilley, N. (1997). Realistic Evaluation. Sage publications. 235p. Ridde, V., Robert, E., Guichard, A., Blaise, P., & Van Olmen, J. (2012). L’approche Realist à l’épreuve du réel de l’évaluation des programmes. Revue canadienne d’évaluation de programme, 26(3), 14. Robert, E. (2012). The realist approach: epistemological foundations and conceptual tools. Seminar on the realist approach and its application in global health. GHR-CAPS program. Montreal University, November 2012. http://fr.slideshare.net/EmilieRobert/emilie-robert-the-realist-approach-2012 A. LACOUTURE – Concours étudiant – 22ème colloque annuel SQEP – 18 octobre 2013 – 23

×