COMMENT ÉVALUER DES
INTERVENTIONS
COMPLEXES
ASTRID BROUSSELLE, PH.D.
CHAIRE DE RECHERCHE DU CANADA SUR L’ÉVALUATION ET L’A...
QU’EST-CE QUE
L’ÉVALUATION?
- Déterminer le mérite, la valeur et l’utilité (jugement, divers
critères)
- d’une interventio...
Évaluation normative Recherche évaluative
Examen des
résultats
Examen du
processus
Analyse stratégique
Analyse des effets
...
NOMBREUX
MODÈLES
DE SHADISH, COOK
ET LEVITON (1991)
Pratique
Valeurs
ConnaissancesUtilisation
Programmes sociaux Problème
Pawson &
Tilley
Source: Alkin MC and Christie CA (2004) An evaluation theory tree. In: Alkin MC (ed.) Evaluation Roots. Tr...
Le paradis de
l’utilisation
La sphère
du
lobbying
Le
marécage
conditionné
par le savoir
LES MODÈLES D’ÉVALUATION
ET LEUR U...
INTERVENTION COMPLEXE
Des interventions complexes sont caractérisées par :
• Incertitude, imprévisibilité
• Interdépendanc...
L’ANALYSE
D’INTERVENTIONS
COMPLEXES
Piège de la réduction
/ piège de la complexité
Accepter la complexité :
• Accepter les...
LES RÉPONSES DE L’ÉVALUATION
À LA COMPLEXITÉ DES
INTERVENTIONS
Analyse logique
Évaluation réaliste
Analyse des contributio...
L’ANALYSE LOGIQUE
Source : Rey et al. 2012
Caractéristiques cruciales
de l’intervention
Effets
Effets désirés
Autres effet...
L’ÉVALUATION
RÉALISTE
« Qu’est-ce qui
fonctionne, pour
quoi, dans quelles
circonstances? »
Théorie
Hypothèses
Observations...
ANALYSE DES CONTRIBUTIONS
Source: Mayne, 2012
ECONOMIC VALUE
TCHOUAKET, E., BROUSSELLE, A., FANSI, A., DIONNE, P-A., BERTRAND, E., FORTIN, C. (2013) The economic value ...
CE QUE CES APPROCHES
ONT EN COMMUN
Centralité de la « théorie du
changement »
Importance du contexte
Intégration de divers...
RÉFÉRENCES
Alkin MC and Christie CA (2004) An evaluation theory tree. In: Alkin MC (ed.) Evaluation Roots. Tracing
Theoris...
Prochain SlideShare
Chargement dans…5
×

Comment evaluer des interventions complexes

527 vues

Publié le

Comment evaluer des interventions complexes

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
527
Sur SlideShare
0
Issues des intégrations
0
Intégrations
127
Actions
Partages
0
Téléchargements
5
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Cours organiser autour de deux thème: (1) une familiarisation avec les différentes approches; (2) un zoom sur certains aspects méthodologiques qui permettent de conduire de façon astucieuse des projets d’évaluation de qualité. Syllabus.
  • Comment evaluer des interventions complexes

    1. 1. COMMENT ÉVALUER DES INTERVENTIONS COMPLEXES ASTRID BROUSSELLE, PH.D. CHAIRE DE RECHERCHE DU CANADA SUR L’ÉVALUATION ET L’AMÉLIORATION DU SYSTÈME DE SANTÉ (CRC-EASY.CA) PROFESSEUR RÉGULIER, DÉPARTEMENT DES SCIENCES DE LA SANTÉ COMMUNAUTAIRE TITULAIRE DE RECHERCHE, CENTRE DE RECHERCHE DE L’HÔPITAL CHARLES- LEMOYNE UNIVERSITÉ DE SHERBROOKE TORONTO, 2015, SYMPOSIUM SUR LA SCIENCE PROGRAMMATIQUE
    2. 2. QU’EST-CE QUE L’ÉVALUATION? - Déterminer le mérite, la valeur et l’utilité (jugement, divers critères) - d’une intervention ou de ses composantes (ressources, processus, résultats). - Examen systématique - Objectif : améliorer l’intervention, mieux-être social, responsabilisation/reddition de comptes, ordre du jour social, action Merriam-Webster : « Porter un jugement sur la valeur ou la situation (d’une personne ou chose) de manière minutieuse et réfléchie. » [trad.]
    3. 3. Évaluation normative Recherche évaluative Examen des résultats Examen du processus Analyse stratégique Analyse des effets Évaluation économique Analyse de la production Analyse de la mise en œuvre Analyse logique PLUSIEURS QUESTIONS Examen de la structure Le problème Objectifs Activités/service s Ressources Effets Contexte
    4. 4. NOMBREUX MODÈLES
    5. 5. DE SHADISH, COOK ET LEVITON (1991) Pratique Valeurs ConnaissancesUtilisation Programmes sociaux Problème
    6. 6. Pawson & Tilley Source: Alkin MC and Christie CA (2004) An evaluation theory tree. In: Alkin MC (ed.) Evaluation Roots. Tracing Theorists’ Views and Influences. Thousand Oaks, CA: SAGE, 12–65. ADAPTED from Shadish Cook and Leviton (1991)
    7. 7. Le paradis de l’utilisation La sphère du lobbying Le marécage conditionné par le savoir LES MODÈLES D’ÉVALUATION ET LEUR USAGE CONTANDRIOPOULOS, D., BROUSSELLE, A. (2012) “Evaluation models and evaluation use?” Evaluation: The International Journal of Theory Research and Practice, vol. 18: 61-77.
    8. 8. INTERVENTION COMPLEXE Des interventions complexes sont caractérisées par : • Incertitude, imprévisibilité • Interdépendance entre un grand nombre d’acteurs • Acteurs qui s’adaptent et évoluent • Résultats émergents créés par les connexions ou relations au sein du système • Non-linéarité entre les intrants et les extrants (Shiell, Hawe, & Gold, 2008, cité dans Zimmerman et al. 2012 )
    9. 9. L’ANALYSE D’INTERVENTIONS COMPLEXES Piège de la réduction / piège de la complexité Accepter la complexité : • Accepter les paradoxes (pas les contradictions) et composer avec eux • Analyser les relations, les « éléments d’intermédiaire » • Accepter l’incertitude • Utiliser des perspectives multiples (Zimmerman et al. 2012 ) Affirmation qui semble se contredire, ou paraît simpliste, mais qui peut inclure une vérité latente.
    10. 10. LES RÉPONSES DE L’ÉVALUATION À LA COMPLEXITÉ DES INTERVENTIONS Analyse logique Évaluation réaliste Analyse des contributions
    11. 11. L’ANALYSE LOGIQUE Source : Rey et al. 2012 Caractéristiques cruciales de l’intervention Effets Effets désirés Autres effets Conditions cruciales Analyse logique directe Alternatives (interventions) Effets Autres effets Conditions cruciales Analyse logique inversée Effets désirés
    12. 12. L’ÉVALUATION RÉALISTE « Qu’est-ce qui fonctionne, pour quoi, dans quelles circonstances? » Théorie Hypothèses Observations Spécification du programme Mécanismes Contextes Résultats
    13. 13. ANALYSE DES CONTRIBUTIONS Source: Mayne, 2012
    14. 14. ECONOMIC VALUE TCHOUAKET, E., BROUSSELLE, A., FANSI, A., DIONNE, P-A., BERTRAND, E., FORTIN, C. (2013) The economic value of Quebec's water fluoridation program, Journal of Public Health, 26 juin 2013, open access: springerlink.com
    15. 15. CE QUE CES APPROCHES ONT EN COMMUN Centralité de la « théorie du changement » Importance du contexte Intégration de diverses perspectives Interprétation plausible (incertitude) Processus de recherche valide et rigoureux Créativité http://www.jr-art.net
    16. 16. RÉFÉRENCES Alkin MC and Christie CA (2004) An evaluation theory tree. In: Alkin MC (ed.) Evaluation Roots. Tracing Theorists’ Views and Influences. Thousand Oaks, CA: SAGE, 12–65. Champagne F., Contandriopoulos A-P, Brousselle A., Hartz Z., Denis J-L. (2011-2e édition) « L'évaluation dans le domaine de la santé : concepts et méthodes », dans BROUSSELLE A., Champagne F., Contandriopoulos A-P., Hartz Z. (Eds) L'Évaluation : Concepts et méthodes, Presses de l’Université de Montréal : 49-70. Mayne J. Contribution analysis: Coming of age? Evaluation 2012; 18(3): 270-280. Dubois N, Lloyd S, Houle J, Mercier C, Brousselle A, Rey L. Discussion: Practice-based evaluation as a response to address intervention complexity. Canadian Journal of Program Evaluation 2012; 26(3): 105-113. Pawson, R., & Tilley, N. (2005). Realistic evaluation. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 362- 367). Thousand Oaks, CA: Sage Publications. Rey L., Brousselle , A., Dedobbeleer, N. (2012) «Logic analysis: testing program theory to better evaluate complex interventions», dans Houle, J., Dubois, N., Lloyd, S., Mercier C., Hartz, Z., Brousselle, A. (Ed.) (2012) « L'évaluation des interventions complexes », numéro spécial, Revue Canadienne d'Évaluation de Programme/ Canadian Journal of Program Evaluation, Volume 26(3): 61-89. Shadish W.R., Cook T.D., Leviton L.C. (1991) «Good Theory for Social Program Evaluation», in Shadish W.R., Cook T.D., Leviton L.C., Foundations of program evaluation. Theories of practice, Sage Publications: 36-67. Shiell, A., Hawe, P., & Gold, L. (2008). Complex interventions or complex systems? Implications for health economic evaluation. BMJ, 336(7656), 1281–1283. doi:10.1136/bmj.39569.510521.AD Zimmerman, B., Dubois, N., Houle, N., Lloyd, S., Mercier, C., Brousselle, A. , Rey, L. (2012) «How does complexity impact evaluation?: An Introduction to the Special Issue», numéro spécial, Revue Canadienne d'Évaluation de Programme/ Canadian Journal of Program Evaluation, Volume 26(3):v-xx. Astrid.brousselle@usherbrooke.ca crc-easy.ca

    ×