Méthodes et pratique deMéthodes et pratique de
ll’évaluation communautaire’évaluation communautaire
La science programmatique dans la pratiqueLa science programmatique dans la pratique
Événement auxiliaire de lÉvénement auxiliaire de l’’ACRV 2015ACRV 2015
30 avril 201530 avril 2015
Javier MignoneJavier Mignone
Javier.mignone@umanitoba.caJavier.mignone@umanitoba.ca
Aperçu de la présentationAperçu de la présentation
- Clarifier la terminologieClarifier la terminologie
- Enjeux à aborderEnjeux à aborder
- Évaluation de programme :Évaluation de programme :
un processus en sept étapesun processus en sept étapes
- Exemples de collaborationExemples de collaboration
J Mignone - Université du Manitoba -
2015 2
QuQu’est-ce que l’évaluation de’est-ce que l’évaluation de
programme?programme?
« L’évaluation de programme est la« L’évaluation de programme est la collectecollecte
systématique d’informationsystématique d’information au sujet desau sujet des
activités, des caractéristiques et desactivités, des caractéristiques et des
résultats d’un programme, afin derésultats d’un programme, afin de
formuler des jugements sur celui-ci,formuler des jugements sur celui-ci,
d’améliorer son efficacité et/ou d’éclairerd’améliorer son efficacité et/ou d’éclairer
les décisions concernant des programmesles décisions concernant des programmes
futurs. » (Patton, 1997)futurs. » (Patton, 1997)
J Mignone - Université du Manitoba -
2015
Pourquoi?Pourquoi?
« ...« ... à l’usage d’individus spécifiquesà l’usage d’individus spécifiques afin deafin de
réduire l’incertitude, d’améliorerréduire l’incertitude, d’améliorer
l’efficacité et de prendre des décisionsl’efficacité et de prendre des décisions
quant à ce que ces programmes font etquant à ce que ces programmes font et
influencent. » Cela implique de « recueillirinfluencent. » Cela implique de « recueillir
des données qui visent à être utilisées, etdes données qui visent à être utilisées, et
le sont réellement, pour améliorer lesle sont réellement, pour améliorer les
programmes et prendre des décisions àprogrammes et prendre des décisions à
leur sujet. » (Patton, 1997)leur sujet. » (Patton, 1997)
J Mignone - Université du Manitoba -
2015
Différence entre évaluation etDifférence entre évaluation et
rechercherecherche
La recherche scientifique fondamentale sert àLa recherche scientifique fondamentale sert à
générer de nouvelles connaissances, à vérifiergénérer de nouvelles connaissances, à vérifier
des théories, à établir des vérités et àdes théories, à établir des vérités et à
généraliser dans le temps et lgénéraliser dans le temps et l’espace.’espace.
LL’évaluation de programme sert à éclairer des’évaluation de programme sert à éclairer des
décisions, à clarifier les options, à atténuer desdécisions, à clarifier les options, à atténuer des
points d’incertitude et à fournir despoints d’incertitude et à fournir des
informations au sujet de programmes et deinformations au sujet de programmes et de
politiques, dans les limites contextuelles dupolitiques, dans les limites contextuelles du
temps, de l’espace, des valeurs et de latemps, de l’espace, des valeurs et de la
politique.politique.
J Mignone - Université du Manitoba -
2015
Différence entre évaluation etDifférence entre évaluation et
recherche (suite)recherche (suite)
La différence entre la recherche etLa différence entre la recherche et
ll’évaluation est exprimée comme suit par’évaluation est exprimée comme suit par
Cronbach et Suppes : la rechercheCronbach et Suppes : la recherche
cherche la vérité; l’évaluation est axée surcherche la vérité; l’évaluation est axée sur
l’action.l’action.
J Mignone - Université du Manitoba -
2015
Questions fondamentalesQuestions fondamentales
Qui utilise lQui utilise l’information produite’information produite
systématiquement?systématiquement?
Comment lComment l’information produite’information produite
systématiquement est-elle réellementsystématiquement est-elle réellement
utilisée?utilisée?
J Mignone - Université du Manitoba -
2015
Évaluation communautaireÉvaluation communautaire
Quelle communauté?Quelle communauté?
◦ LieuLieu
◦ IdentitéIdentité
◦ IntérêtIntérêt
Que signifie « communautaire »?Que signifie « communautaire »?
◦ Varie selon le but et le processusVarie selon le but et le processus
J Mignone - Université du Manitoba -
2015 8
Évaluation communautaire (suite)Évaluation communautaire (suite)
But de lBut de l’évaluation’évaluation
Processus dProcessus d’évaluation’évaluation
J Mignone - Université du Manitoba -
2015 9
Éléments spécifiques à aborderÉléments spécifiques à aborder
Attentes relatives à lAttentes relatives à l’évaluation’évaluation
Ordres du jour multiples ou conflictuelsOrdres du jour multiples ou conflictuels
ConfianceConfiance
Exigences et organismes de financementExigences et organismes de financement
Développement d’un plan dDéveloppement d’un plan d’évaluation’évaluation
Interprétations/connaissances culturellesInterprétations/connaissances culturelles
J Mignone - Université du Manitoba -
2015 10
Éléments à aborder (suite)Éléments à aborder (suite)
Méthodologie appropriéeMéthodologie appropriée
ÉchéanciersÉchéanciers
Propriété des données (p. ex., PCAP)Propriété des données (p. ex., PCAP)
PolitiquePolitique
ParticipationParticipation
ÉthiqueÉthique
Utilisation/dissémination des conclusionsUtilisation/dissémination des conclusions
J Mignone - Université du Manitoba -
2015 11
Évaluation de programme :Évaluation de programme :
un processus en sept étapesun processus en sept étapes
1.1. Identifier les principaux utilisateurs prévus deIdentifier les principaux utilisateurs prévus de
l’évaluationl’évaluation
2.2. Identifier et préciser les questions d’évaluationIdentifier et préciser les questions d’évaluation
pertinentespertinentes
3.3. Prendre des décisions quant aux méthodologiesPrendre des décisions quant aux méthodologies
et aux mesureset aux mesures
4.4. Recueillir des donnéesRecueillir des données
5.5. Organiser les données pour l’analyse desOrganiser les données pour l’analyse des
dépositaires d’enjeuxdépositaires d’enjeux
6.6. Impliquer les utilisateurs dans l’interprétation desImpliquer les utilisateurs dans l’interprétation des
résultatsrésultats
7.7. Faciliter l’utilisation prévue par les utilisateursFaciliter l’utilisation prévue par les utilisateurs
prévusprévus
J Mignone - Université du Manitoba -
2015 12
Exemples de collaborationExemples de collaboration
Summer Institute on Program EvaluationSummer Institute on Program Evaluation
[Session d[Session d’été en évaluation de programme]’été en évaluation de programme]
(Université du Manitoba)(Université du Manitoba)
Community Health Information and ResearchCommunity Health Information and Research
Partnerships [Partenariats dPartnerships [Partenariats d’information et de’information et de
recherche en santé communautaire] (CHIRP)recherche en santé communautaire] (CHIRP)
(étudiants de l’Université du Manitoba)(étudiants de l’Université du Manitoba)
J Mignone - Université du Manitoba -
2015 13
??????
J Mignone - Université du Manitoba -
2015 14
RéférencesRéférences
 Chomsky N (2003)Chomsky N (2003) Necessary illusions: Thought control in democratic societiesNecessary illusions: Thought control in democratic societies. Toronto: House of. Toronto: House of
Anansi Press.Anansi Press.
 First Nations Centre at NAHO (2007) OCAP: Ownership, control, access and possession.First Nations Centre at NAHO (2007) OCAP: Ownership, control, access and possession.
NAHO: OttawaNAHO: Ottawa
 Horne T (1995)Horne T (1995) Making a difference: Program evaluation for health promotionMaking a difference: Program evaluation for health promotion. WellQuest. WellQuest
Consulting: Edmonton.Consulting: Edmonton.
 Kaufman Kantor G & Kendall-Tackett K (2000)Kaufman Kantor G & Kendall-Tackett K (2000) A guide to family intervention and preventionA guide to family intervention and prevention
program evaluationprogram evaluation. University of New Hampshire. Electronic version.. University of New Hampshire. Electronic version.
 King JA, Stevahn L, Ghere G & Minnema J (2001) Toward a taxonomiy of essential programKing JA, Stevahn L, Ghere G & Minnema J (2001) Toward a taxonomiy of essential program
evaluator competencies.evaluator competencies. American Journal of Evaluation, 22American Journal of Evaluation, 22(2), 229-247.(2), 229-247.
 Morra Imas LC & Rist RC (2009) The road to results: Designing and conducting effectiveMorra Imas LC & Rist RC (2009) The road to results: Designing and conducting effective
development evaluations. The World Bank: Washington DC.development evaluations. The World Bank: Washington DC.
 Patton MQ (1997)Patton MQ (1997) Utilization-focused evaluation: The new century text.Utilization-focused evaluation: The new century text. 33rdrd
edition, Thousand Oaks:edition, Thousand Oaks:
Sage.Sage.
 Patton MQ (2008)Patton MQ (2008) Utilization-focused evaluationUtilization-focused evaluation, 4th Edition, Thousand Oaks: Sage., 4th Edition, Thousand Oaks: Sage.
 Patton MQ (2012) Essentials of utilization-focused evaluation. Thousand Oaks: Sage.Patton MQ (2012) Essentials of utilization-focused evaluation. Thousand Oaks: Sage.
 The Provincial Centre for Excellence for Child and Youth Mental Health at CHEO (2007)The Provincial Centre for Excellence for Child and Youth Mental Health at CHEO (2007) DoingDoing
more with program evaluation: A toolkit for conducting program evaluationmore with program evaluation: A toolkit for conducting program evaluation. Ottawa, Ontario. Ottawa, Ontario
www.onthepoint.cawww.onthepoint.ca
 Shadish WR, Cook TD, Campbell DT (2002)Shadish WR, Cook TD, Campbell DT (2002) Experimental and quasi-experimental designs forExperimental and quasi-experimental designs for
generalized causal inferencegeneralized causal inference. Boston: Houghton Mifflin.. Boston: Houghton Mifflin.
 Suchman EA (1967) Evaluative research: Principles and practice in public service and social actionSuchman EA (1967) Evaluative research: Principles and practice in public service and social action
programs. New York: Russell Sage.programs. New York: Russell Sage.
J Mignone - Université du Manitoba -
2015 15

Méthodes et pratique de l’évaluation communautaire

  • 1.
    Méthodes et pratiquedeMéthodes et pratique de ll’évaluation communautaire’évaluation communautaire La science programmatique dans la pratiqueLa science programmatique dans la pratique Événement auxiliaire de lÉvénement auxiliaire de l’’ACRV 2015ACRV 2015 30 avril 201530 avril 2015 Javier MignoneJavier Mignone Javier.mignone@umanitoba.caJavier.mignone@umanitoba.ca
  • 2.
    Aperçu de laprésentationAperçu de la présentation - Clarifier la terminologieClarifier la terminologie - Enjeux à aborderEnjeux à aborder - Évaluation de programme :Évaluation de programme : un processus en sept étapesun processus en sept étapes - Exemples de collaborationExemples de collaboration J Mignone - Université du Manitoba - 2015 2
  • 3.
    QuQu’est-ce que l’évaluationde’est-ce que l’évaluation de programme?programme? « L’évaluation de programme est la« L’évaluation de programme est la collectecollecte systématique d’informationsystématique d’information au sujet desau sujet des activités, des caractéristiques et desactivités, des caractéristiques et des résultats d’un programme, afin derésultats d’un programme, afin de formuler des jugements sur celui-ci,formuler des jugements sur celui-ci, d’améliorer son efficacité et/ou d’éclairerd’améliorer son efficacité et/ou d’éclairer les décisions concernant des programmesles décisions concernant des programmes futurs. » (Patton, 1997)futurs. » (Patton, 1997) J Mignone - Université du Manitoba - 2015
  • 4.
    Pourquoi?Pourquoi? « ...« ... à l’usaged’individus spécifiquesà l’usage d’individus spécifiques afin deafin de réduire l’incertitude, d’améliorerréduire l’incertitude, d’améliorer l’efficacité et de prendre des décisionsl’efficacité et de prendre des décisions quant à ce que ces programmes font etquant à ce que ces programmes font et influencent. » Cela implique de « recueillirinfluencent. » Cela implique de « recueillir des données qui visent à être utilisées, etdes données qui visent à être utilisées, et le sont réellement, pour améliorer lesle sont réellement, pour améliorer les programmes et prendre des décisions àprogrammes et prendre des décisions à leur sujet. » (Patton, 1997)leur sujet. » (Patton, 1997) J Mignone - Université du Manitoba - 2015
  • 5.
    Différence entre évaluationetDifférence entre évaluation et rechercherecherche La recherche scientifique fondamentale sert àLa recherche scientifique fondamentale sert à générer de nouvelles connaissances, à vérifiergénérer de nouvelles connaissances, à vérifier des théories, à établir des vérités et àdes théories, à établir des vérités et à généraliser dans le temps et lgénéraliser dans le temps et l’espace.’espace. LL’évaluation de programme sert à éclairer des’évaluation de programme sert à éclairer des décisions, à clarifier les options, à atténuer desdécisions, à clarifier les options, à atténuer des points d’incertitude et à fournir despoints d’incertitude et à fournir des informations au sujet de programmes et deinformations au sujet de programmes et de politiques, dans les limites contextuelles dupolitiques, dans les limites contextuelles du temps, de l’espace, des valeurs et de latemps, de l’espace, des valeurs et de la politique.politique. J Mignone - Université du Manitoba - 2015
  • 6.
    Différence entre évaluationetDifférence entre évaluation et recherche (suite)recherche (suite) La différence entre la recherche etLa différence entre la recherche et ll’évaluation est exprimée comme suit par’évaluation est exprimée comme suit par Cronbach et Suppes : la rechercheCronbach et Suppes : la recherche cherche la vérité; l’évaluation est axée surcherche la vérité; l’évaluation est axée sur l’action.l’action. J Mignone - Université du Manitoba - 2015
  • 7.
    Questions fondamentalesQuestions fondamentales Quiutilise lQui utilise l’information produite’information produite systématiquement?systématiquement? Comment lComment l’information produite’information produite systématiquement est-elle réellementsystématiquement est-elle réellement utilisée?utilisée? J Mignone - Université du Manitoba - 2015
  • 8.
    Évaluation communautaireÉvaluation communautaire Quellecommunauté?Quelle communauté? ◦ LieuLieu ◦ IdentitéIdentité ◦ IntérêtIntérêt Que signifie « communautaire »?Que signifie « communautaire »? ◦ Varie selon le but et le processusVarie selon le but et le processus J Mignone - Université du Manitoba - 2015 8
  • 9.
    Évaluation communautaire (suite)Évaluationcommunautaire (suite) But de lBut de l’évaluation’évaluation Processus dProcessus d’évaluation’évaluation J Mignone - Université du Manitoba - 2015 9
  • 10.
    Éléments spécifiques àaborderÉléments spécifiques à aborder Attentes relatives à lAttentes relatives à l’évaluation’évaluation Ordres du jour multiples ou conflictuelsOrdres du jour multiples ou conflictuels ConfianceConfiance Exigences et organismes de financementExigences et organismes de financement Développement d’un plan dDéveloppement d’un plan d’évaluation’évaluation Interprétations/connaissances culturellesInterprétations/connaissances culturelles J Mignone - Université du Manitoba - 2015 10
  • 11.
    Éléments à aborder(suite)Éléments à aborder (suite) Méthodologie appropriéeMéthodologie appropriée ÉchéanciersÉchéanciers Propriété des données (p. ex., PCAP)Propriété des données (p. ex., PCAP) PolitiquePolitique ParticipationParticipation ÉthiqueÉthique Utilisation/dissémination des conclusionsUtilisation/dissémination des conclusions J Mignone - Université du Manitoba - 2015 11
  • 12.
    Évaluation de programme:Évaluation de programme : un processus en sept étapesun processus en sept étapes 1.1. Identifier les principaux utilisateurs prévus deIdentifier les principaux utilisateurs prévus de l’évaluationl’évaluation 2.2. Identifier et préciser les questions d’évaluationIdentifier et préciser les questions d’évaluation pertinentespertinentes 3.3. Prendre des décisions quant aux méthodologiesPrendre des décisions quant aux méthodologies et aux mesureset aux mesures 4.4. Recueillir des donnéesRecueillir des données 5.5. Organiser les données pour l’analyse desOrganiser les données pour l’analyse des dépositaires d’enjeuxdépositaires d’enjeux 6.6. Impliquer les utilisateurs dans l’interprétation desImpliquer les utilisateurs dans l’interprétation des résultatsrésultats 7.7. Faciliter l’utilisation prévue par les utilisateursFaciliter l’utilisation prévue par les utilisateurs prévusprévus J Mignone - Université du Manitoba - 2015 12
  • 13.
    Exemples de collaborationExemplesde collaboration Summer Institute on Program EvaluationSummer Institute on Program Evaluation [Session d[Session d’été en évaluation de programme]’été en évaluation de programme] (Université du Manitoba)(Université du Manitoba) Community Health Information and ResearchCommunity Health Information and Research Partnerships [Partenariats dPartnerships [Partenariats d’information et de’information et de recherche en santé communautaire] (CHIRP)recherche en santé communautaire] (CHIRP) (étudiants de l’Université du Manitoba)(étudiants de l’Université du Manitoba) J Mignone - Université du Manitoba - 2015 13
  • 14.
    ?????? J Mignone -Université du Manitoba - 2015 14
  • 15.
    RéférencesRéférences  Chomsky N(2003)Chomsky N (2003) Necessary illusions: Thought control in democratic societiesNecessary illusions: Thought control in democratic societies. Toronto: House of. Toronto: House of Anansi Press.Anansi Press.  First Nations Centre at NAHO (2007) OCAP: Ownership, control, access and possession.First Nations Centre at NAHO (2007) OCAP: Ownership, control, access and possession. NAHO: OttawaNAHO: Ottawa  Horne T (1995)Horne T (1995) Making a difference: Program evaluation for health promotionMaking a difference: Program evaluation for health promotion. WellQuest. WellQuest Consulting: Edmonton.Consulting: Edmonton.  Kaufman Kantor G & Kendall-Tackett K (2000)Kaufman Kantor G & Kendall-Tackett K (2000) A guide to family intervention and preventionA guide to family intervention and prevention program evaluationprogram evaluation. University of New Hampshire. Electronic version.. University of New Hampshire. Electronic version.  King JA, Stevahn L, Ghere G & Minnema J (2001) Toward a taxonomiy of essential programKing JA, Stevahn L, Ghere G & Minnema J (2001) Toward a taxonomiy of essential program evaluator competencies.evaluator competencies. American Journal of Evaluation, 22American Journal of Evaluation, 22(2), 229-247.(2), 229-247.  Morra Imas LC & Rist RC (2009) The road to results: Designing and conducting effectiveMorra Imas LC & Rist RC (2009) The road to results: Designing and conducting effective development evaluations. The World Bank: Washington DC.development evaluations. The World Bank: Washington DC.  Patton MQ (1997)Patton MQ (1997) Utilization-focused evaluation: The new century text.Utilization-focused evaluation: The new century text. 33rdrd edition, Thousand Oaks:edition, Thousand Oaks: Sage.Sage.  Patton MQ (2008)Patton MQ (2008) Utilization-focused evaluationUtilization-focused evaluation, 4th Edition, Thousand Oaks: Sage., 4th Edition, Thousand Oaks: Sage.  Patton MQ (2012) Essentials of utilization-focused evaluation. Thousand Oaks: Sage.Patton MQ (2012) Essentials of utilization-focused evaluation. Thousand Oaks: Sage.  The Provincial Centre for Excellence for Child and Youth Mental Health at CHEO (2007)The Provincial Centre for Excellence for Child and Youth Mental Health at CHEO (2007) DoingDoing more with program evaluation: A toolkit for conducting program evaluationmore with program evaluation: A toolkit for conducting program evaluation. Ottawa, Ontario. Ottawa, Ontario www.onthepoint.cawww.onthepoint.ca  Shadish WR, Cook TD, Campbell DT (2002)Shadish WR, Cook TD, Campbell DT (2002) Experimental and quasi-experimental designs forExperimental and quasi-experimental designs for generalized causal inferencegeneralized causal inference. Boston: Houghton Mifflin.. Boston: Houghton Mifflin.  Suchman EA (1967) Evaluative research: Principles and practice in public service and social actionSuchman EA (1967) Evaluative research: Principles and practice in public service and social action programs. New York: Russell Sage.programs. New York: Russell Sage. J Mignone - Université du Manitoba - 2015 15

Notes de l'éditeur

  • #9 Who is the community? Who determines who is the community? It can’t be the university-based researcher that determines who the community is. Community of place Community of identity Community of interest Just because we say it is community-based it doesn’t mean it is. As in participatory research, “You participate, I decide” Doing research in a community does not mean community-based (should be called community-placed) Doing research about a community does not guarantee that it is community-based Doing research for a community is not necessarily community-based The difference is in the purpose and the process
  • #10 Insomuch that it is anchored in community the program evaluation decisions will be made with the community and uses of the information/findings will serve the purposes of the community. Purpose and process are intimately related.
  • #11 Too high expectations – e.g., findings will lead to funding Too low (sceptical) expectations – What’s the point? Nothing will change. “Researched to death” Burned by previous evaluation experiences. Plural or conflicting agendas Mistrust of researchers. Mistrust among community members. University-based researchers as PI’s Trampling others’ knowledge.
  • #12 Appropriate methodology: Not only from a technical perspective but from a community perspective Not culturally appropriate Not feasible Not ethical Community-based research methods are to be judged on the basis of appropriateness, utility, practicality, credibility, and relevance. These criteria are necessarily situational and context-bound. OCAP principles: Ownership, Control, Access, Possession Ethics: Not simply signing a consent form Community consent (eg, Chief and Council) Individual consent These issues should be dealt with upfront from the beginning.