L’analyse des processus d’une
intervention
1er avril 2014
Thomas Druetz
Université de Montréal
Plan de la présentation
Origines & définition(s)
Objectifs
Terminologie
 Analyse de processus
 Étude d’implantation
Ques...
L’analyse des processus
• Apparition du concept à la fin des années 1960, décennie
des grands programmes sociaux
Objectif ...
Implementation failure (échec d’implantation)
Rossi et al. (2004) distinguent 3 types d’échec
d’implantation :
1. Programm...
Définitions
« Process evaluation forms an important component of an
overall evaluation plan, and that it is critical to op...
Plan d’évaluation
T. Druetz, 2014
Design de
l’intervention
Processus Résultats
Dans sa logique, le
programme peut-il produ...
Complexification des programmes
Diversification des objectifs
• Objectifs
 Comprendre l’échec d’un programme
 Comprendre...
Pertinence de l’analyse de processus
Renforcement de la validité interne ou externe ?
Efficacy ou effectiveness ?
Essais c...
Approches évaluatives
Logiques différentes :
• Évaluation formative ou sommative
• Utilité pragmatique ou théorique
• Éval...
Terminologie
1. Analyse des processus (« process evaluation »)
= ?
2. Évaluation de l’implantation (« implementation study...
Terminologie
Selon Linnan & Steckler :
T. Druetz, 2014
Analyse des processus
Étude d’implantation
Fidélité
Dose
fournie
Do...
Linnan et al.
• L’implantation est évaluée par un score composite qui
combine la fidélité, la dose fournie, la dose reçue ...
Terminologie
Selon Hasson et al.
T. Druetz, 2014
Qualité des
soins
+++
Hasson et al.
Process ≈ Implementation ≈ Fidelity
L’évaluation de la fidélité nécessite :
1. Une mesure de la conformité (...
Hasson et al.
Process ≈ Implementation ≈ Fidelity
L’évaluation de la fidélité nécessite aussi :
2. Un examen des interacti...
Illustration: Ridde et al., 2013
T. Druetz, 2014
Planification d’une analyse de processus
T. Druetz, 2014
Adapté de Saunders et al., 2005
Autres points de planification
• ...
Exercice
T. Druetz, 2014
SIS à Montréal, T+2 ans, évaluation de processus
Une fois reconstitué le modèle logique de l’inte...
Exercice
T. Druetz, 2014
SIS à Montréal, T+2 ans, fidélité d’implantation
Une des composantes du programme consiste à renc...
Exercice
T. Druetz, 2014
Questions d’évaluation des processus Sources
Fidélité
Contenu
Est-ce que les rencontres individue...
Les questions classiques
• Dans quelle mesure les composantes ont-elles été implantées
tel que prévu ?
• Les activités ont...
Questions complémentaires
• D’autres interventions interagissent avec le programme ?
Comment se passe l’interaction ?
• Le...
Pièges à éviter
• Quantifier à tout prix l’implantation
• Espérer reconstituer 100 % des événements
• Collecter le maximum...
La panacée?
• La combinaison étude d’impacts & analyse de processus
est (très) largement promue en recherche
interventionn...
Dépassement : évaluation réaliste
(« realist » or « realistic » evaluation)
Pawson & Tilley, 1988
T. Druetz, 2014
Dépassement : réinvention de l’intervention
Perez et. al., 2010
T. Druetz, 2014
Évaluation de la fidélité et de la réinvention du programme
T. Druetz, 2014
• Ridde et. al., 2013
Conclusion
• L’analyse des processus ou l’étude d’implantation, une
composante essentielle d’un plan d’évaluation
• Recour...
Prochain SlideShare
Chargement dans…5
×

L’analyse de processus, un volet essentiel d'un plan d'évaluation

3 889 vues

Publié le

Tandis que les programmes sont de plus en plus complexes, la recherche interventionnelle doit intégrer dans tout plan d'évaluation une analyse de processus ou une étude de l'implantation du programme.

Publié dans : Santé & Médecine
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
3 889
Sur SlideShare
0
Issues des intégrations
0
Intégrations
11
Actions
Partages
0
Téléchargements
0
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

L’analyse de processus, un volet essentiel d'un plan d'évaluation

  1. 1. L’analyse des processus d’une intervention 1er avril 2014 Thomas Druetz Université de Montréal
  2. 2. Plan de la présentation Origines & définition(s) Objectifs Terminologie  Analyse de processus  Étude d’implantation Questions d’évaluation de processus/d’implantation Considérations méthodologiques et de planification Pièges & critiques Dépassement Conclusion T. Druetz, 2014
  3. 3. L’analyse des processus • Apparition du concept à la fin des années 1960, décennie des grands programmes sociaux Objectif initial: comprendre pourquoi un programme ne fonctionne pas et, ensuite, le reformuler de manière à ce qu’il fonctionne • Erreur de type III (Basch et al., 1985). Préoccupation? => Attribution des effets au programme T. Druetz, 2014
  4. 4. Implementation failure (échec d’implantation) Rossi et al. (2004) distinguent 3 types d’échec d’implantation : 1. Programmes-mystère ou interventions-bidon  Impossible de savoir en quoi consiste le programme  Intervention qui contient du vent… 2. Interventions en décalage avec la réalité 3. Interventions hors de contrôle ou non standardisées  Trop de latitude dans l’implantation locale, par ex. T. Druetz, 2014
  5. 5. Définitions « Process evaluation forms an important component of an overall evaluation plan, and that it is critical to opening the “black box” of programs and illuminating the processes by which programs achieve their impact, or not. Process evaluations should be theory driven to enable all stakeholders in an evaluation to understand what aspects of program implementation or utilization were instrumental in a program’s success or failure » (Rawat et al., 2013). « Process evaluation is central to determining whether interventions perform as intended and can therefore aid understanding of how the context within which they are developed may affect their eventual effectiveness » (Dalton et al., 2013) T. Druetz, 2014
  6. 6. Plan d’évaluation T. Druetz, 2014 Design de l’intervention Processus Résultats Dans sa logique, le programme peut-il produire les résultats escomptés ? Les résultats escomptés ont-ils été atteints ? Dans sa mise en œuvre, les résultats escomptés peuvent-ils être atteints ? Adapté de S Haddad, 2013
  7. 7. Complexification des programmes Diversification des objectifs • Objectifs  Comprendre l’échec d’un programme  Comprendre le succès d’un programme  Pouvoir attribuer les résultats au programme  Améliorer un programme au cours de sa mise en œuvre  Connaitre les composantes essentielles d’un programme  Connaitre et anticiper les effets modérateurs du contexte  Adapter le programme au contexte  Décomposer les effets des différentes composantes ou des différents niveaux du programmes  etc. T. Druetz, 2014
  8. 8. Pertinence de l’analyse de processus Renforcement de la validité interne ou externe ? Efficacy ou effectiveness ? Essais cliniques, études quasi-expérimentales, études observationnelles, ou expérimentations naturelles ? Études pilote, projets locaux, programmes mis à l’échelle nationale ? T. Druetz, 2014
  9. 9. Approches évaluatives Logiques différentes : • Évaluation formative ou sommative • Utilité pragmatique ou théorique • Évaluation continue (monitoring) ou ponctuelle • Analyse de processus autonome ou couplée à une étude d’impacts T. Druetz, 2014
  10. 10. Terminologie 1. Analyse des processus (« process evaluation ») = ? 2. Évaluation de l’implantation (« implementation study ») = ? 3. Évaluation de la fidélité (« fidelity evaluation ») = ? 4. Évaluation de la conformité au plan (« adherence evaluation ») T. Druetz, 2014
  11. 11. Terminologie Selon Linnan & Steckler : T. Druetz, 2014 Analyse des processus Étude d’implantation Fidélité Dose fournie Dose reçue Atteinte du public cible Contexte
  12. 12. Linnan et al. • L’implantation est évaluée par un score composite qui combine la fidélité, la dose fournie, la dose reçue et l’atteinte du public cible • Dose fournie = % d’unités de chaque composante du programme qui a été fourni tel que prévu • Dose reçue = % de participants qui ont interagi avec la composante du programme • Atteinte du public cible = % d’individus ciblés ayant été rejoints par le programme T. Druetz, 2014
  13. 13. Terminologie Selon Hasson et al. T. Druetz, 2014 Qualité des soins +++
  14. 14. Hasson et al. Process ≈ Implementation ≈ Fidelity L’évaluation de la fidélité nécessite : 1. Une mesure de la conformité (« adherence ») du programme. 4 volets à considérer : a. Le contenu b. L’échéancier c. La fréquence d. La couverture T. Druetz, 2014
  15. 15. Hasson et al. Process ≈ Implementation ≈ Fidelity L’évaluation de la fidélité nécessite aussi : 2. Un examen des interactions avec un ensemble de facteurs susceptibles de modifier la fidélité a. La réactivité des participants b. Le recrutement des participants c. Le contexte d. L’exhaustivité de la planification e. etc. T. Druetz, 2014
  16. 16. Illustration: Ridde et al., 2013 T. Druetz, 2014
  17. 17. Planification d’une analyse de processus T. Druetz, 2014 Adapté de Saunders et al., 2005 Autres points de planification • Objectif de l’étude • Destinataire • Portée / Retombées • Collaboration • Coût • Éthique
  18. 18. Exercice T. Druetz, 2014 SIS à Montréal, T+2 ans, évaluation de processus Une fois reconstitué le modèle logique de l’intervention, pouvez-vous procéder à une évaluation de la fidélité du programme ? Si non, quelle(s) information(s) vous manque-t-il et comment comptez-vous vous y prendre pour l’obtenir ? Référez-vous à l’étude de cas de Hasson.
  19. 19. Exercice T. Druetz, 2014 SIS à Montréal, T+2 ans, fidélité d’implantation Une des composantes du programme consiste à rencontrer individuellement tous les utilisateurs du SIS une fois par semestre pour leur parler des programmes de désintoxication et leur remettre une brochure (l’objectif est d’informer 30% des UDI de l’Île de Montréal après 2 ans). Quelles questions allez-vous vous poser pour mesurer la fidélité d’implantation de cette composante ? Quelles sources allez-vous utiliser ?
  20. 20. Exercice T. Druetz, 2014 Questions d’évaluation des processus Sources Fidélité Contenu Est-ce que les rencontres individuelles avec les utilisateurs du SIS ont été mises en place ? Responsable SIS, travailleurs sociaux, utilisateurs Couverture Quels sont les utilisateurs qui ont été rencontrés en entretien individuel ? Responsable SIS, travailleurs sociaux, cahier des consultations Échéancier Pendant quelle période les rencontres individuelles ont-elles été menées? Responsable SIS, travailleurs sociaux, utilisateurs, cahier des consultations Durée / fréquence À quelle fréquence ont eu lieu les rencontres avec les utilisateurs ? Responsable SIS, travailleurs sociaux, dossier des utilisateurs Modérateur Réactivité des UDI Comment les utilisateurs réagissent-ils lors des entretiens? Quel est leur participation ? Est-ce que cela évolue avec le temps ? Travailleurs sociaux, utilisateurs Contexte Est-ce que les rencontres individuelles sont influencées par des événements ou des éléments du contexte? Lesquels ? Quelles sont les difficultés avec ces rencontres ? Pourquoi? Travailleurs sociaux, utilisateurs, responsable SIS Recrutement Qui sont les utilisateurs réguliers du SIS ? Quelle population rejoignez-vous ? Statistiques du SIS, responsable
  21. 21. Les questions classiques • Dans quelle mesure les composantes ont-elles été implantées tel que prévu ? • Les activités ont-elles respecté l’échéancier ? Leur fréquence est-elle conforme au plan ? • La population cible a-t-elle été rejointe ? • Les participants sont-ils satisfaits des services reçus ? • Les ressources matérielles et humaines sont-elles suffisantes à la conduite des activités? T. Druetz, 2014
  22. 22. Questions complémentaires • D’autres interventions interagissent avec le programme ? Comment se passe l’interaction ? • Les sous-groupes les plus vulnérables sont-ils rejoints ? • Le programme est-il rejeté par certaines populations ? • Le programme dispose-t-il d’un soutien politique ? • Quelles sont les relations entre les parties prenantes ? • Quelle est la qualité des services prodigués ? • Les différentes composantes du programmes opèrent-elles en synergie? • Quels éléments contextuels (dé-)favorisent le programme ? • Le budget prévu a-t-il été suffisant ? T. Druetz, 2014
  23. 23. Pièges à éviter • Quantifier à tout prix l’implantation • Espérer reconstituer 100 % des événements • Collecter le maximum de données possibles => priorisation des objets d’étude • Utiliser uniquement un type de sources • Considérer l’implantation comme figée dans le temps ou l’espace • Délaisser l’analyse de processus au profit de l’étude d’impacts => l’analyse des processus d’un programme complexe demande des ressources • Se limiter à un monitoring des activités T. Druetz, 2014
  24. 24. La panacée? • La combinaison étude d’impacts & analyse de processus est (très) largement promue en recherche interventionnelle • Critiques : 1. L’analyse des processus peut être inappropriée si les résultats du programme ne sont pas ceux attendus (adaptation) 2. La généralisabilité des résultats de l’analyse des processus repose sur un processus inductif à partir d’un cas unique (>< positivisme) 3. Les planificateurs du programme participent ou conduisent souvent à l’analyse des processus T. Druetz, 2014
  25. 25. Dépassement : évaluation réaliste (« realist » or « realistic » evaluation) Pawson & Tilley, 1988 T. Druetz, 2014
  26. 26. Dépassement : réinvention de l’intervention Perez et. al., 2010 T. Druetz, 2014
  27. 27. Évaluation de la fidélité et de la réinvention du programme T. Druetz, 2014 • Ridde et. al., 2013
  28. 28. Conclusion • L’analyse des processus ou l’étude d’implantation, une composante essentielle d’un plan d’évaluation • Recours à des méthodes mixtes (généralement) • Lignée de l’empirisme critique  La réalité peut être observée dans les faits, mais il faut reconnaître et mesurer l’influence du contexte lorsqu’on teste nos hypothèses • Défi : faire reconnaître son utilité à la fois pour le scientifique, le planificateur, le décideur T. Druetz, 2014

×