Phénomène nouveau? Population difficile d’atteinte? Contexte étranger? Différences culturelles? L’approche qualitative à la rescousse en évaluation de programme

L’approche qualitative à la
rescousse en évaluation de
programme
Luc Dargis, M. Sc., Documentaliste, CRISE

Plan de la présentation.
• Définition des concepts pertinents à l’évaluation de programme avec une approche qualitative;
• Planification d’une évaluation de programme: choix de la méthode;
• Approche quantitative, approche qualitative: quelques comparaisons;
• Pause;
• Critères généraux de scientificité;
• Cadre conceptuel et outils pour critiquer une évaluation de programme avec méthode qualitative;
• L’exemple d’une évaluation de besoin: Chung-Do et coll., 2016
• L’exemple du projet rester à l’écoute Gagné et coll. 2015;
• Conclusion.

Objectifs d’apprentissage.
• Familiarisation avec des concepts importants en évaluation de programme;
• Familiarisation avec l’approche qualitative;
• Développement des capacités à critiquer une évaluation de programme impliquant une approche qualitative;
• Augmentation du sentiment d’efficacité personnelle à contribuer et à planifier une évaluation de programme en
considérant la nature de la question d’évaluation et le contexte d’évaluation.

Quelques définitions.
a. Qu’est-ce qu’un programme?
i. Définition heuristique : activités planifiées, organisées et mises en œuvre afin d’améliorer les conditions sociales
(Rossi, Freeman, & Lipsey, 1999). Ce faisant, un programme social vise à répondre à un problème ou un besoin social
(Rossi et al., 1999).
ii. Définition opérationnelle : un programme est un ensemble cohérent, organisé et structuré d’objectifs, de moyens et
de personnes qui l’animent. Il se justifie sur la base de besoins définis comme une carence ou un manque qui affecte
des individus, une collectivité ou une société. Il est sous le contrôle d’une ou plusieurs personnes responsables de la
qualité de sa formulation et de son fonctionnement. Il est mis en place pour transformer une chose ou l’état d’une
chose (Plante, (1994) tel que cité par Ridde et Dagenais (2013)).

Quelques définitions (suite).
a. Qu’est-ce qu’une intervention?
i. Définition de l’Ordre des psychologues du Québec : La psychothérapie est un traitement psychologique pour un
trouble mental, pour des perturbations comportementales ou pour tout autre problème entraînant une souffrance
ou une détresse psychologique qui a pour but de favoriser chez le client des changements significatifs dans son
fonctionnement cognitif, émotionnel ou comportemental, dans son système interpersonnel, dans sa personnalité ou
dans son état de santé. Ce traitement va au-delà d’une aide visant à faire face aux difficultés courantes ou d’un
rapport de conseils ou de soutien (Ordre des psychologues du Québec, 2017);

a. Qu’est-ce qu’une intervention?
i. Interventions communautaires ou sociales: Rappaport (1977) avance qu’elles consistent en la prise en compte des
valeurs et des objectifs des « intervenants » et autres parties prenantes afin de mettre en œuvre des stratégies et/ou
des tactiques à un niveau d’analyse donné (individuel, groupal, organisationnel, institutionnel ou communautaire)
visant un changement social.

i. Qu’est-ce que l’évaluation de programme?
i. L’évaluation est un acte permettant de porter une appréciation selon une démarche critique fondée sur une collecte
systématique de données à propos de multiples objets dans le but de prendre des décisions (Ridde & Dagenais,
2013);

i. L’évaluation est l’appréciation systématique de la conception, de la mise en œuvre ou des résultats d’une initiative pour
des fins d’apprentissage ou de prise de décision (Société canadienne d'évaluation, 2014; Société québécoise d'évaluation
de programme, 2018).
i. « Appréciation. L’appréciation évaluative tient compte de la valeur, du mérite, de la portée, de l’importance ou de la
qualité (Scriven, 1991). Elle peut viser à identifier ce qui fonctionne, pour qui, de quelles façons, dans quelle mesure,
dans quelles circonstances et comment (Pawson et Tilley, 2004). Elle peut examiner les résultats attendus et obtenus,
la chaîne des résultats, les processus, les facteurs contextuels et la causalité, afin d’apprécier les réalisations ou leur
absence (UNEG, 2005). L’évaluation peut se concentrer sur un large éventail de sujets, y compris la pertinence,
l’accessibilité, l’intégralité, l’intégration, la réalisation des objectifs, l’efficacité, l’impact, le coût, l’efficience et la
durabilité (Patton, 1997; OCDE, 2010). Le processus d’évaluation implique normalement une identification de
normes pertinentes, une analyse du rendement au regard de ces normes et une intégration ou une synthèse des
résultats pour produire une appréciation globale » (Scriven, 1991; OCDE, 2010).

i. « Systématique. Une évaluation devrait être aussi systématique et impartiale que possible (UNEG, 2005). Une
évaluation est méthodique et fournit des informations crédibles, fiables et utiles permettant de réintégrer les leçons
apprises dans le processus de prise de décision des utilisateurs et des bailleurs de fonds (OCDE, 2010). L’évaluation
est basée sur des données empiriques et généralement sur les méthodes caractéristiques de la recherche sociale,
donc sur le processus de collecte et de synthèse des données probantes (Rossi Lipsey et Freeman, 2004). Les
conclusions formulées dans les évaluations englobent à la fois un aspect empirique et un aspect normatif (Fournier,
2005). C’est cet aspect normatif – le fait de valoriser les résultats – qui distingue l’évaluation des autres types
d’études comme la recherche scientifique fondamentale, l’épidémiologie clinique, le journalisme d’investigation ou
les sondages auprès du public. »

i. « Initiatives. L’évaluation peut se concentrer sur des initiatives comme des programmes, des projets, des sous-
programmes, des sous-projets ou leurs composants ou éléments (Yarbrough et al, 2011; Scriven, 2003). »
ii. « Fins. L’évaluation peut être effectuée pour prendre des décisions, pour former des jugements, pour tirer des
conclusions, pour connaître les résultats, pour développer de nouvelles connaissances, pour appuyer le
développement organisationnel ou pour renforcer les capacités en réponse aux besoins des parties prenantes. Tout
ceci peut conduire à des améliorations, à des décisions concernant la programmation future ou à la
responsabilisation, informant au bout du compte l’action sociale, s’attaquant aux problèmes sociaux et contribuant à
la vie organisationnelle ou sociale (Yarbrough et al, 2011; Patton, 1997). »

i. Bref, l’évaluation de programme, c’est quoi?
i. Porter un jugement sur un ensemble organisé animé par des parties prenantes responsables de ressources,
d’intrants, d’activités, d’extrants produisant des impacts à court, moyen et long termes avec les mêmes critères, en
proposant un rationnel pour ceux-ci en vue de permettre à une ou des parties prenantes de prendre une décision;
ii. Un programme peut comporter diverses interventions en son sein mais ne se limite pas à celles-ci;
iii.De façon générale, un programme consiste en une organisation plus complexe qu’une intervention en raison de la
diversité des éléments le constituant;
iv.Une intervention n’est pas nécessairement systématique tandis qu’un programme revêt une certaine systématisation
de son déploiement;
i. Systématique ne veut pas obligatoirement dire rigide;

Planification et choix de la
méthode
i. Perspective épistémologique réaliste de l’évaluation de programme:
i. Il existe une « réalité » de laquelle il est possible d’apprendre des choses (Jolly, 2014; Wong, Westhorp, Pawson, &
Greenhalgh, 2013) ;
i. Que ce soit par simple convenance ou stricte pragmatisme, il s’avère difficile de présumer que le monde se
refait à chaque seconde et que le passé n’influence pas l’avenir;
i. Ex.: pendant longtemps, il a été présumé qu’il n’y avait que trois types d’attachement : sécuritaire, évitant
et ambivalent-résistant (Ainsworth & Bell, 1970). Dans les années 90, un 4e style a été découvert (Main &
Solomon, 1990). Cela ne signifie pas que l’attachement n’était pas un bon concept représentant une
« réalité » importante pour le développement des enfants, cela signifie que notre connaissance du monde
évolue, se raffine, mais que l’essentiel demeure.

méthode
i. Perspective épistémologique réaliste de l’évaluation de programme:
i. Des « mécanismes » souvent inobservables engendrent des « impacts » observables (Lacouture, Breton, Guichard, &
Ridde, 2015; Wong et al., 2013);
i. Ici, un classique en suicidologie serait le concept de « psychache » qui représente la douleur perçue comme
insoutenable et sans issue motivant une personnes qui en souffre à se tuer (Shneidman, 1993).

méthode
i. Perspective épistémologique réaliste de l’évaluation de programme;
i. Les mécanismes sont influencés par les contextes dans lesquels ils se déploient, ce qui influence alors leurs impacts
(Jolly, 2014; Wong et al., 2013).
i. En reprenant l’exemple du mécanisme de « psychache » de Shneidman (1993), si celui-ci explique la motivation
d’une personne à mourir, les circonstances dans lesquelles une personne évolue moduleront l’influence du
« psychache »;
i. Une personne peut souffrir énormément, toutefois, si elle n’a aucun accès à des moyens pour se tuer, il y a
de hautes probabilités qu’elle ne meure pas;
ii. Les pires circonstances peuvent contribuer au suicide;
iii.Les meilleures circonstances peuvent prévenir des suicides;

méthode
i. Positionnement dans le cadre de cette présentation
i. Adoption d’une position épistémologique réaliste;
ii. Un cadre conceptuel se fondant sur la notion de contexte et sur la nature de la question d’évaluation est proposé
afin de guider le choix, la mise en œuvre et la critique d’une méthode qualitative;
i. « C'est le problème qui doit être résolu, et le contexte de l'étude qui devrait dicter les méthodes que les
chercheurs utilisent ... "» (Van Der Maren, 2006).

i. La nature de la question d’évaluation : qu’est-ce qu’on veut savoir, ce qu’on veut documenter, ce qu’on veut comprendre
à propos d’un programme;
i. Un programme peut se situer à différentes phases de son développement et les besoins d’évaluation émaner de
toutes ses constituantes ou de certaines seulement;
ii. De façon générale, on dénombre quatre grands types d’évaluation:
i. des besoins ou de pertinence;
ii. de processus ou d’implantation;
iii.des effets;
iv.d’efficience;
iii.Dans cette présentation, seuls les trois premiers types d’évaluation seront abordés.

i. Qu’est-ce qu’une évaluation des besoins ?
i. Renvoie à la pertinence du problème auquel se destine un programme (Posavac & Carey, 1997; Rossi et al., 1999);
ii. Identifier qui doit bénéficier ou devenir partie prenante du programme (Quinn Patton, 2002; Rossi et al., 1999);
i. Dénombrer au sein de la population les personnes qui présentent telles ou telles caractéristiques ou qui vivent
un problème;
i. Qui se suicide le plus au Québec?
i. Les hommes de 45 à 65 ans (Thibodeau & Perron, 2017);
ii. Qui fait le plus de tentatives de suicide au Québec?
i. Les femmes (Camirand, Traoré, Baulne, & Courtemanche, 2016);
iii. Quel territoire comporte les plus au taux de suicide?
i. Abitibi-Témiscamingue, Chaudière-Appalaches, Capitale-Nationale et Mauricie – Centre-du-Québec
(Thibodeau & Perron, 2017);

i. Caractériser les usagers potentiels d’un programme :
i. Sachant qu’il s’agit des hommes qui meurent le plus par suicide, quelles sont les caractéristiques de ceux qui se
suicident? Y a-t-il des attitudes, des valeurs, des habitudes, des comportements ou des circonstances propres
aux hommes qui décèdent par suicide?
ii. Au CRISE, une équipe de vaillants et vaillantes chercheurs et chercheuses ont récemment entrepris un projet
d’exploration et de description des raisons de mourir évoquées par des utilisateurs du Darknet sur un forum
internet;

i. Vise à qualifier les besoins d’une population cible (Posavac & Carey, 1997; Quinn Patton, 2002; Ridde & Dagenais,
2013; Rossi et al., 1999);
i. Mesurer l’écart entre la situation actuelle et celle désirée;
i. Découvrir les besoins d’usagers potentiels;
ii. Identifier les éléments qui empêchent les usagers potentiels de combler leur besoins;
i. Mesurer l’importance relative de ces entraves au sein de la population des usagers;

i. Qu’est-ce qu’une évaluation d’implantation et/ou de processus?
i. Vise à estimer à quel point les activités menées sur le terrain correspondent à celles prévues par les concepteurs du
programme (Rossi et al., 1999);
ii. Permet à une organisation de rendre compte de ses réalisations à ses commettants (Dargis, 2011);
iii. Permet d’identifier les éléments facilitant ou entravant la mise en œuvre des activités d’un programme et de
discerner l’influence du contexte de celle de ses activités.
i. Documenter précisément les activités liées au programme permet d’en comprendre les impacts;

i. Qu’est-ce qu’une évaluation d’implantation et/ou de processus?
i. L’évaluation des processus correspond à une approche d’évaluation compréhensive (Posavac & Carey, 1997).
i. Consiste à explorer, expliquer et comprendre comment les activités du programme influencent les impacts
observés de celui-ci selon son contexte propre (Dargis, 2011).
i. Produit des connaissances qui précisent les relations qui existent entre le contexte, les activités du
programme et ses résultats;
ii. Vise à susciter des ajustements au programme.

i. Qu’est-ce qu’une évaluation des effets?
i. Vise à déterminer si un programme livre les résultats attendus (Ridde & Dagenais, 2013);
ii. S’inscrit souvent dans une démarche de reddition de comptes (Quinn Patton, 2002; Rappaport, 1977);

i. Qu’est-ce qu’une évaluation des effets?
i. Peut permettre de mesurer l’ampleur des bénéfices ou des effets indésirables produits par un programme (Quinn
Patton, 2002; Ridde & Dagenais, 2013);
ii. Peut permettre de découvrir et nommer les effets désirables et indésirables d’un programme;
iii. Offre l’opportunité aux bénéficiaires et aux parties prenantes de décrire leur expérience de façon sommative envers
le programme.

i. Qu’entend-on par contexte d’évaluation?
i. Peut faire référence à de grandes caractéristiques sociales ou géographiques (par exemple le pays dans lequel une
intervention opère et ses cultures) ;
ii. Caractéristiques affectant la mise en œuvre des programmes (par exemple si le programme se déroule dans une
prison, un hôpital ou un service de santé, s'il existe un financement adéquat, les qualifications du personnel) (Wong
et al., 2013; Pinnock et al., 2017);

i. Concerne la composition des participants à un programme ou les différents profils de population des localités
recevant une intervention (Wong et al., 2013; Pinnock et al., 2017);
ii. Concerne les conditions dans lesquelles les participants cherchent à faire leur choix (les diplômés d'un programme
de formation professionnelle trouveront plus facilement du travail dans un contexte de fort emploi, les bénéficiaires
d'une subvention au logement auront plus de difficultés à utiliser cette subvention) (Wong et al., 2013; Pinnock et
al., 2017).;

i. Éléments à considérer pour décrire le contexte de déploiement d’un programme (liste non exhaustive)
i. Complexité: reflétée par la durée des activités ou interventions, la portée (individuelle, sociale, institutionnelle
etc.), l’écart entre la situation antérieure à l’implantation du programme et sa mise en œuvre, le nombre
d'étapes nécessaires à la mise en œuvre (CFIR Research Team Center for Clinical Management Research, 2014);
ii. Les coûts associés au programmes y compris les coûts d'investissement, d'approvisionnement et d'opportunité
(CFIR Research Team Center for Clinical Management Research, 2014);

i. Les contingences de renforcement et les politiques: politiques et règlements (gouvernement ou autre entité
centrale), les mandats externes, les recommandations et les lignes directrices, la rémunération au rendement,
les obligations de reddition de compte;
ii. La structure des organisations: l’organigramme, l'âge (de l’organisation et des acteurs) et la taille d'une
organisation;
iii. L’ouverture au changement: la disponibilité des membre d’une organisation à engager des ressources pour
mettre en œuvre un changement, la réceptivité partagée des individus impliqués dans une intervention, et la
mesure dans laquelle l'utilisation de cette intervention sera récompensée, soutenue et attendue au sein de
l’organisation.

i. La priorisation du programme: qui juge le programme important au sein de l’organisation (CFIR Research Team
Center for Clinical Management Research, 2014)?
ii. Le sentiment d’efficacité personnelle: le degré auquel ou les éléments qui facilitent ou entravent la perception des
parties prenantes à mettre en œuvre un programme (CFIR Research Team Center for Clinical Management Research,
2014);
iii. Les ressources disponibles: ressources consacrées à la mise en œuvre et aux opérations en cours, y compris l'argent,
la formation, l'éducation, l'espace physique et le temps (CFIR Research Team Center for Clinical Management
Research, 2014); .
i. Toutes les ressources ne sont pas tangibles: expertise, expériences, leadership, capital de sympathie, quid pro
quo, etc.

i. Question d’évaluation
i. On peut situer les questions d’évaluation sur un continuum d’un contexte de découverte et de preuve (Lessard-
Hébert, Boutin, & Goyette, 1997)
Contexte de
découverte
Contexte de
preuve
Approche quantitative, approche qualitative, quelques comparaisons.

Approche qualitative
Caractériser les usagers potentiels d’un
programme;
Explorer, expliquer et comprendre comment les
activités du programme en influencent les impacts
observés et selon son contexte propre
Découvrir et nommer les effets désirables et
indésirables d’un programme
Type d’évaluation
Des besoins
D’implantation
Des effets
Approche quantitative
Dénombrer au sein de la population les personnes
qui présentent telle ou telle caractéristique
Grands échantillons non nécessaires
Mesurer l’ampleur des bénéfices ou des effets
indésirables produits par un programme
Contexte de découverte
Contexte de preuve
Approche quantitative, approche qualitative, quelques comparaisons (suite).

Contexte de découverte
Contexte de preuve
Documentation
du contexte
• Ai-je de l’information sur le contexte d’implantation?
• Ai-je de l’information pertinente au type d’évaluation que je veux faire?
Contrôle sur le
contexte
• Est-ce que les activités , les ressources, les parties prenantes changent
régulièrement?

Approche quantitative
Résultats générabilisables
Peut être à faibles coûts
Collecte de données rigide
Nécessite de grands échantillons
Bonne réputation dans le monde académique
Approche qualitative
Produit des connaissances contextuelles
Permet de petits échantillons
Flexibilité dans la collecte de données
Facilite la découverte d’aspects inconnus mais importants
Réputation à établir dans le monde académique

Pause

Critères de scientificité
• Indépendance de la démarcheObjectivité
• Capacité d’une mesure à produire des
résultats justes et cohérentsFidélité
• Capacité à mesurer ce qu’on veut mesurerValidité

Critères de scientificité (suite).
i. Adaptation de l’outil d’évaluation de la qualité méthodologique pour les recherches
employant des méthodes mixtes de Eckhardt et DeVon (2017).
i. Permet d’apprécier les recherches qui emploient simultanément des approches
qualitatives ou quantitatives;
ii. Utilisation relativement intuitive;
iii. N’est pas encore validée scientifiquement;
iv. Permet néanmoins de porter un jugement sur des aspects importants d’une recherche
en vue d’évaluer sa rigueur.

Critères de scientificité (suite).
Choix du devis
Rationnel
expliquant le
choix d’une
approche
qualitative
Explicitation claire
des objectifs et du
type d’évaluation
/2 /2 /2 /2
Méthodologie
Rationnel des
choix
méthodologiques
Description
suffisante de
l’échantillon et
justification du
mode
d’échantillonnage
Inférences
Présentation des
données en lien
avec la question
d’évaluation
Est-ce que les
conclusions de
l’étude sont
convainquantes?
Évaluation
Utilisation de
dispositifs
méthodologiques
pour assurer la
rigueur de
l’évaluation
Explicitation des
limites de
l’évaluation

Exemple d’évaluation de besoins
i. Présentation de l’étude: Chung-Do et al., 2016.
i. Évaluation de besoin adoptant une approche qualitative;
ii. Vise à identifier et découvrir les éléments d’un programme de prévention du suicide
« Connect Suicide Prevention Program (NAMI-NH) » à adapter afin de répondre aux
contexte culturel des communautés hawaïennes des USA
iii. Quatre thèmes ont été identifiés et articulés afin d’adapter le programme

i. Les objectifs et les activités du programme:
i. Mobiliser les communautés à risque, qui mettait l'accent sur la promotion du
leadership des jeunes en matière de prévention du suicide;
ii. Amélioration du « Statewide Trauma Network », axé sur le partenariat et la
formation des centres de traumatologie et des services d'urgence à travers l‘état
d'Hawaï.

i. Des professionnels de la santé, les membres de la communauté et les jeunes de tout
l'État d'Hawaï ont été formés et certifiés en tant que formateurs communautaires en
utilisant le programme Connect
ii. Les formateurs communautaires sont ensuite responsables de mener le programme de
prévention du suicide Connect dans leurs communautés respectives.
i. Un organisme forme des formateurs qui, à leur tour, forment des membres de leur
communauté.

i. Le contexte d’évaluation du projet:
• Aucune information fournie
Caractéristiques
affectant la mise en
œuvre des
programmes
• Les Hawaïens autochtones et les autres insulaires du Pacifique sont parmi les plus à risques de comportements suicidaires parmi les principaux
groupes ethniques;
• L’initiative « The Hawai‘i’s Caring Communities Initiative (HCCI)” sur la prévention du suicide chez les jeunes a été mise en œuvre par le département
de psychiatrie de l'Université d'Hawaï, avec pour mission de prévenir le suicide chez les jeunes et d'accroître l'intervention précoce dans les
communautés rurales. Hawaïens et insulaires du Pacifique.
Complexité
• Aucune information fournie
Composition des
participants à un
programme

• Le contexte culturel varié d'Hawaï comprend une grande population d‘Autochtones hawaïens et une forte
représentation de plusieurs autres groupes ethniques distincts, les deux tiers des résidents s'identifiant comme étant
des Asiatiques et / ou des Insulaires du Pacifique.
• Les îles sont désignées par le gouvernement fédéral comme étant des zones de pénurie de professionnels de la santé
Grandes
caractéristiques
sociales ou
géographiques
• Membres du personnel universitaire HCCI étaient au courant des préoccupations préexistantes des membres de la communauté que les
programmes antérieurs de formation en prévention du suicide mis en œuvre dans l'État d'Hawaï n'ont pas complètement répondu aux besoins
culturels d'Hawaï . Communautés.
L’ouverture au
changement
• En reconnaissant ces inquiétudes, l'Initiative de prévention du suicide chez les jeunes a été mise en œuvre par le
département de psychiatrie de l'Université d'Hawaï, avec pour mission de prévenir le suicide chez les jeunes et
d'accroître l'intervention précoce dans les communautés rurales. Hawaïens et insulaires du Pacifique.
La priorisation du
programme

•Aucune information fournie
Le sentiment
d’efficacité
personnelle
•Aucune information fournie
Les contingences
de renforcement
et les politiques
•Aucune information fournieLes coûts

•Aucune information fournieLes ressources
disponibles
•Aucune information fournieOrganigramme

Contexte de
découverte
Contexte de
preuve

i. Appréciation de la rigueur: Chung-Do et al., 2016
•Le but de cette étude qualitative était double: identifier les besoins culturels des communautés rurales d'Hawaï liées aux
programmes de prévention du suicide et évaluer le programme Connect en termes de sensibilité culturelle
•(1 point, choix de la méthode)Choix du devis
•Focus group avec des leaders en prévention du suicide
•Ce groupe comprend des individus, des organisations et des membres de la communauté travaillant dans le domaine de la
prévention du suicide et des interventions qui jouent un rôle consultatif auprès du Département de la Santé de l'État d'Hawaï.
•Identification des leader en fonction de leur implication et de leurs compétences (N=7)
•Recrutement de formateurs par les leaders en fonction de leur compétence et focus group pour recueillir leur point de vue sur la
sensibilité culturelle de Connect (N=26)
•1 point
Méthodologie

i. Appréciation de la rigueur: Chung-Do et al., 2016
• Les inférences découlent directement des données présentées;
• Les inférences sont contextualisées et relient les découvertes de l’étude au
contexte de son évaluation;
• Inférences paraissent exhaustives en prévention du suicide;
• 2 points
Inférences
• Présentation en détail des dispositifs de collecte de données (grille de question,
durée et description de l’interviewer)
• Description en détail des stratégies d’analyse de données et ses jalons;
• Explicitation des limites de l’étude (ex: désirabilité sociale);
• 2 points
Évaluation

Évaluation de programme :
L’exemple du programme manifestation de l’auto-
stigmatisation des aîné(e)s qui présentent des pertes
auditives
Gagné et coll., 2015

Auto-stigmatisation chez les aîné(e)s
• Objectifs
• Caractérisation des effets et des manifestations de l’auto-stigmatisation associée à la
déficience auditive et au vieillissement.

Auto-stigmatisation chez les aîné(e)s
• Trois phénomènes principaux à l’étude
• La surdité (S)
• La stigmatisation-auto-stigmatisation (STIG)
• Le vieillissement (V)
S STIG
V
C’est la convergence de ces
trois phénomènes qui nous
intéresse

Phase 1: Étude de cas unique
• Classification des données
• Élaboration des thèmes
Phase 2: Analyse de cas multiples
• Déterminer ce qui est partagé par
tous les cas
• Déterminer les éléments propres à
un ou deux cas mais néanmoins
pertinents à l’objet de recherche
Étude de cas multiple
©DargisDamphousse,2010

Conclusions de la recherche qualitative
 Le parcours des aîné(e)s malentendants s’avère multidirectionnel
 Des processus de normalisation peuvent contribuer à réduire la
stigmatisation
 La trajectoire du vieillissement imbriquée dans l’identité sociale
semble caractériser les liens entre le vieillissement, la surdité et
l’auto-stigmatisation

Conclusions de la recherche qualitative
 La flexibilité des caractéristiques de l’identité sociale semble
constituer un facteur de protection contre l’auto-stigmatisation
 Une trajectoire de vieillissement positive s’avère un facteur de
protection contre l’auto-stigmatisation
 Le sentiment d’efficacité personnelle peut contribuer à réduire l’auto-
stigmatisation
 L’entretien d’une estime de soi élevée peut pallier les menaces
identitaires liées à l’auto-stigmatisation

Programme
rester à l’écoute
Activités et devis de recherche

Modèle théorique
• Programme par agent multiplicateur
• Modèle éducationnel
• Un organisme identifie des formateurs potentiels
• Les formateurs ont un lien avec les participant(e)s visé(e)s
• Les formateurs transmettent une innovation ou prodiguent une intervention
aux participant(e)s visé(e)s

Modèle théorique (suite.)
• Avantages agents multiplicateurs
• Favorise la crédibilité des informations transmises
• Facilite l’identification de participant(e)s difficiles à recruter
• Permet de cibler potentiellement plus d’individus

Programme par agents
multiplicateurs
• Illustration programme par agents multiplicateurs
Organisme central
diffuseur
d’information et
d’intervention
Agents
multiplicateurs
Cibles
IRD
Proches (ami(e)s,
conjoint(e)s,
enfants)
Aîné(e)s
malentendant(e)

Devis de recherche
Formation
des proches
Session 1
Psychoed
Session 2
Pratique
Pré-test
Temps 0
1 sem
avant
Post-test
Temps 1
1 sem
après
Visite 1
Session 3
Psychoed
Visite 2
Session 5
Identités
multiples
Formation
des proches
Session 4
Retour sur
intervention 1
•Recrut.
août
•pré-test
sept.
Sep Oct Oct Nov **action
grâce 27Nov Nov 10 décDéc

Activités du programme d’intervention MFA
Formation des proches
1
•Psychoéducation
•Exploration
adhérence aux
stéréotypes
Formation proches
2
•Introduction aux
activités
d’intervention
•Pratique
d’intervention
Visite auprès des PA
1
•Transfert
d’information
•Prise de conscience
d’handicap
Formation des proches
3
•Retour sur première
session d’intervention
•Préparation pour la
suite
Visite auprès des PA
2
•Exploration identités
multiples
•Retour sur perception
du handicap et stade
de changement
1 2 3 4 5

Première séance avec l’aîné(e): activité I

Démence et sénilité
La démence est inévitable en vieillissant.
• EN ACCORD
• EN DÉSACCORD

Démence et sénilité
• Distincte du vieillissement normal, la démence est une maladie qui
cause une dégradation de la mémoire, du raisonnement, du
comportement et de l’aptitude à accomplir les activités quotidiennes.
• Cette maladie touche principalement mais pas exclusivement les
personnes âgées.
• C’est une minorité des aîné(e)s qui développeront une démence.

Mon quotidien
Avant...
Maintenant...
Nommez au moins une activité
sociale que vous pratiquez
régulièrement et qui est
importante pour vous.
Nommez au moins une
activité sociale importante
pour vous que vous avez
déjà pratiquée et que vous
ne pratiquez plus
maintenant.

Qu’est-ce qui te chicotte
Je porte une prothèse à la
main droite. Quand je
rencontre une nouvelle
personne, ça crée un
malaise au moment où on
se serre la main.
Quoi
C’est gênant pour moi, pour
la nouvelle personne, mais
aussi pour les gens autour.
Qui
J’évite parfois de
rencontrer du nouveau
monde.
Conséquence
Exemple de Madame X

Qu’est-ce qui te chicotte
Voici une situation où le vieillissement
me chicotte

Disposition au changement
À quel point cette perte est
importante pour toi
À quel point pensez-vous être
capable de remédier à cette
perte
1 (pas du tout importante)
10 (très importante)
1 (pas du tout)
10 (tout à fait)

Disposition au changement
Quel est l’avantage de ne pas
remédier à cette limite
Quel est l’inconvénient de ne
pas remédier à cette limite
Quel est l’avantage à remédier à
cette limite
Quel est l’inconvénient à
remédier à cette limite

Identités multiples
Activité
sociale passée
Activité sociale
actuelle
Fréquence
(mensuelle,
hebdomadaire,
quotidienne)
Justification de l’importance
de l’activité en regard des
caractéristiques identitaires

Disponibilité des ressources
• Objectifs:
• Augmenter le sentiment d’efficacité personnelle
• Informer l’aîné(e) à propos des ressources disponibles
• Activités:
• Transfert d’information sur les ressources en réadaptation auditive
• Transfert d’information sur les démarches et organismes susceptibles d’offrir des services
aux aîné(e)s
• Résultats:
• Acquisition de connaissances sur les ressources
• Augmenter la perception de maîtrise envers la limite identifiée

Exemple d’évaluation d’implantation
i. Présentation de l’étude: Gagné et al., 2015.
i. Les objectifs et les activités du programme
i. Évaluation d’implantation
ii. Programme par agents multiplicateurs en vue de réduire l’auto-stigmatisation chez
les personnes âgées de 65 ans et plus et de favoriser la prise en charge de leur santé
auditive

• Échéanciers courts
Caractéristiques
affectant la mise en
œuvre des
programmes
• Plusieurs cibles d’évaluation
• Étape multiple d’implantation
Complexité
• Cibles principales: personnes auto-stigmatisées
• Stade de précontemplation/contemplation de changement
Composition des
participants à un
programme

• Présence d’âgisme au Québec
Grandes
caractéristiques
sociales ou
géographiques
• Rôle inusité des camarades envers les proches
L’ouverture au
changement
• De façon générale, la santé auditive n’est pas
priorisée
La priorisation du
programme

•À déterminer
Le sentiment
d’efficacité
personnelle
•Aucun enjeu
Les contingences
de renforcement
et les politiques
•À déterminerLes coûts

•Expertise de l’IRD
•Appui évaluateur de programme
Les ressources
disponibles
•Non pertinent (projet pilote)Organigramme

i. Appréciation de la rigueur: Gagné et al., 2015
• Quelle est la conformité des informations transmises par les animatrices aux proches ?
• Quelle est la conformité de l’exécution des activités réalisées par les proches auprès des camarades ?
• Explorer l’atteinte des objectifs de chaque activité du programme par les dyades proche-camarade
• Contexte de découverte et besoin de décrire en profondeur les processus sous-jacents au programme et de
quantifier sa conformité: approche mixte (qualitative/quantitative)
Choix du devis
• Échantillonnage boule de neige et par annonce dans des milieux intéressés par la santé auditive (école
d’audiologie)
• L’âge moyen chez les proches est de 57 ans, bien que trois d’entre eux soient âgés de plus de 60 ans ; ils
disposent d’un haut niveau d’éducation (tous ont un diplôme universitaire ou en voie de l’obtenir), possèdent
de l’expérience professionnelle en santé auditive et à l’exception d’un, tous se disent en bonne santé
physique
• La méthodologie mixte permet la triangulation des données et d’apprécier la fidélité de la démarche
Méthodologie

i. Appréciation de la rigueur: Gagné et al., 2015
• Les difficultés de recrutement ont empêché la composition d’un groupe « contrôle ». Par ailleurs, la petite
taille de l’échantillon a engendré des aménagements dans le devis d’évaluation du projet
• Au moins un camarade du groupe audition présentait de l’auto-stigmatisation. Cela signifie que malgré la
petite taille de l’échantillon, il a été possible de rejoindre, pour au moins une dyade, la population cible
• Les résultats du volet 3 indiquent que dans sa forme actuelle, le programme s’avère faisable et sa mise en
œuvre essentiellement conforme à ce qui est prévu.
Inférences
• Triangulation des données
• Contre-codification
• Analyse indépendante des données qualitatives pour déterminer la présence ou l’absence d’auto-
stigmatisation
• Focus group pour valider la pertinence des inférences
Évaluation

Conclusion
i. La prise en compte du contexte permet de situer l’évaluation dans une perspective de découverte ou de preuve
ii. L’élaboration de la question d’évaluation s’avère l’une des étapes les plus importantes lors de la planification et de
l’exécution d’une évaluation de programme
iii. Le choix du devis, la méthodologie, les inférences et l’évaluation correspondent aux éléments permettant de porter un
jugement sur la rigueur d’une approche qualitative
iv. La flexibilité des approches qualitatives permet souvent d’éviter certains écueils (petit échantillon, population difficile à
rejoindre, instruments non validés)

Un grand merci!
Questions?

Références
• Ainsworth, M. D. S., & Bell, S. M. (1970). Attachment, exploration, and separation: Illustrated by the behavior of one-year-olds in a strange situation. Child development, 49-67.
• Bond, M. A., Serrano-García, I. E., Keys, C. B., & Shinn, M. E. (2017). APA handbook of community psychology: Theoretical foundations, core concepts, and emerging challenges, Vol. 1: Washington, DC, US: American Psychological Association.
• Camirand, H., Traoré, I., Baulne, J., & Courtemanche, R. (2016). L'enquête québécoise sur la santé de la population 2014-2015: pour en savoir plus sur la santé des Québécois: résultats de la deuxième édition: Institut de la statistique du Québec.
• CFIR Research Team Center for Clinical Management Research. (2014). Consolidated Framework for Implementation Research. Retrieved from http://www.cfirguide.org/constructs.html
• Chung-Do, J. J., Bifulco, K., Antonio, M., Tydingco, T., Helm, S., & Goebert, D. A. (2016). A cultural analysis of the NAMI-NH Connect Suicide Prevention Program by rural community leaders in Hawai‘i. Journal of Rural Mental Health, 40(2), 87-102. doi:10.1037/rmh0000044
• Dargis, L. (2011). Recherche qualitative examinant les liens entre un programme de bourses, le parcours scolaire des bénéficiaires et leur contexte familial au Bénin.
• Eckhardt, A. L., & DeVon, H. A. (2017). The MIXED framework: A novel approach to evaluating mixed‐methods rigor. Nursing Inquiry, 24(4), 1-13. doi:10.1111/nin.12189
• Jolly, H. (2014). telling context from Mechanism in Realist evaluation: the role for theory. International Journal of Learning in Social Contexts, 14.
• Lessard-Hébert, M., Boutin, G., & Goyette, G. (1997). La recherche qualitative: fondements et pratiques: De Boeck Supérieur.
• Main, M., & Solomon, J. (1990). Procedures for identifying infants as disorganized/disoriented during the Ainsworth Strange Situation. Attachment in the preschool years: Theory, research, and intervention, 1, 121-160.
• Ordre des psychologues du Québec. (2017). L’encadrement de la psychothérapie: un défi de la loi 21. Retrieved from https://www.ordrepsy.qc.ca/web/ordre-des-psychologues-du-quebec/-/l-encadrement-de-la-psychotherapie-un-defi-de-la-loi-21
• Pinnock, H., Barwick, M., Carpenter, C. R., Eldridge, S., Grandes, G., Griffiths, C. J., . . . Patel, A. (2017). Standards for Reporting Implementation Studies (StaRI): explanation and elaboration document. BMJ open, 7(4), e013318.
• Posavac, E. J., & Carey, R. G. (1997). Program evaluation: Methods and case studies.
• Quinn Patton, M. (2002). Qualitative research and evaluation methods: Sage.
• Rappaport, J. (1977). Community psychology: Values, research, and action: Harcourt School.
• Ridde, V., & Dagenais, C. (2013). Approches et pratiques en évaluation de programmes: Les Presses de l'Université de Montréal.
• Rossi, P. H., Freeman, H. E., & Lipsey, M. W. (1999). Evaluation: A Systematic Approach.
• Shneidman, E. S. (1993). Suicide as psychache: A clinical approach to self-destructive behavior: Jason Aronson.
• Société canadienne d'évalution. (2014). Qu'est-ce que l'évaluation? Retrieved from https://evaluationcanada.ca/fr/quest-ce-que-levaluation
• Société québécoise d'évaluation de programme. (2018). Qu’est-ce que l’évaluation ? Retrieved from https://www.sqep.ca/evaluation-programme/evaluation/
• Thibodeau, L., & Perron, P.-A. (2017). La mortalité par suicide au Québec : 1981 à 2014 – Mise à jour 2017. Retrieved from Québec, Canada: https://www.inspq.qc.ca/publications/2216
• Van Der Maren, J.-M. (2006). Chapitre 3. Les recherches qualitatives: des critères variés de qualité en fonction des types de recherche L'analyse qualitative en éducation (pp. 65-80): De Boeck Supérieur.
• Wong, G., Westhorp, G., Pawson, R., & Greenhalgh, T. (2013). Realist synthesis: RAMESES training materials. London: University of London.

Phénomène nouveau? Population difficile d’atteinte? Contexte étranger? Différences culturelles? L’approche qualitative à la rescousse en évaluation de programme

Recommandé

Recommandé

Contenu connexe

Similaire à Phénomène nouveau? Population difficile d’atteinte? Contexte étranger? Différences culturelles? L’approche qualitative à la rescousse en évaluation de programme

Similaire à Phénomène nouveau? Population difficile d’atteinte? Contexte étranger? Différences culturelles? L’approche qualitative à la rescousse en évaluation de programme (20)

Plus de Centre de recherche et d'intervention sur le suicide, enjeux éthiques et pratiques de fin de vie

Plus de Centre de recherche et d'intervention sur le suicide, enjeux éthiques et pratiques de fin de vie (20)

Phénomène nouveau? Population difficile d’atteinte? Contexte étranger? Différences culturelles? L’approche qualitative à la rescousse en évaluation de programme

Notes de l'éditeur