 Survol de différentes stratégies d’évaluation des services d’intervention téléphonique/texto/clavardage en prévention du suicide  Les grandes étapes d’une évaluation d’un service d’intervention téléphonique/texto/clavardage  Enjeux et défis propres à l’évaluation des services d’intervention par texto/clavardage  L’importance de la triangulation des méthodes d’observation  Le devis d’évaluation idéal

1. Meilleures pratiques d’évaluation des
interventions par texto/clavardage
LOUIS-PHILIPPE CÔTÉ - DOCTORANT EN PSYCHOLOGIE
INSTITUT D’ÉTÉ DU CRISE - UQAM - 30 MAI 2018

2. Plan de la présentation
 Survol de différentes stratégies d’évaluation des services d’intervention
téléphonique/texto/clavardage en prévention du suicide
 Les grandes étapes d’une évaluation d’un service d’intervention
téléphonique/texto/clavardage
 Enjeux et défis propres à l’évaluation des services d’intervention par texto/clavardage
 L’importance de la triangulation des méthodes d’observation
 Le devis d’évaluation idéal

3. Les évaluations de type écologique
Postulat
Présence d’un services d’intervention
téléphonique/texto/clavardage sur un
territoire
Baisse du taux de suicide sur ce territoire

4. Les évaluations de type écologique
 Les évaluations écologiques ne
permettent pas d’isoler les causes
d’une variation dans un taux de
suicide
 Exemple: un nouveau Centre de
Prévention du Suicide (CPS) est
implanté dans une région. Une baisse
du taux de suicide est observée dans
les années subséquentes.
 La baisse du taux de suicide est-elle
attribuable à :
 Les activités du CPS?
 Les activités d’un programme de
prévention du suicide dans la région?
 Le développement ou l’amélioration
des services en santé mentale de 1ère
ligne dans la région?
 Etc., etc., etc…

5. Les évaluations de type écologique
 Les évaluations écologiques ne permettent pas de mesurer les impacts
d’un service d’intervention sur le risque suicidaire de ses utilisateurs.
 Dans notre exemple:
 A-t-on observé une baisse du taux de suicide chez le(s) groupe(s) desservi(s)
par le CPS?
 Si oui, les individus décédés par suicide dans la région utilisaient-ils moins le CPS
que ceux qui ne sont pas passé à l’acte?
 En bref, pour attribuer une variation d’un taux de suicide dans une région
aux activités d’un service d’intervention, il faut faire « acte de foi ».

6. Données d’opération du service
 Souvent utilisées pour rendre compte des impacts de services d’intervention.
 Intéressantes certes, mais généralement insuffisantes pour évaluer un service
 Nombre d’appels reçu
 Les personnes qui contactent le service sont-elles celles qui sont ciblées par
l’organisation?
 Nombre de personnes qui contactent le service à plusieurs reprises
 Est-ce une bonne chose?
 Est-ce que ça dépend des profils d’appelants?
 Si oui, pour qui c’est une bonne chose et pour qui ce ne l’est pas?

7. Données d’opération du service
 Activités de promotion du service
 Les personnes ciblées par l’organisation ont-elles entendu parlé du service?
 Les personnes ciblées par l’organisation sont-elles disposées à contacter le
service?
 En bref, pour mesurer l’impact d’un service d’intervention, il faut mesurer
ses effets auprès de …
 la population ciblée par l’organisation
 les utilisateurs du service

8. Les six étapes
d’une bonne
évaluation

9. Étapes d’une « bonne » évaluation
Étape 1. Décrire les appelants
 % catégories d’âge
 % catégories de genre
 Problématiques
 Personnes isolées qui ont besoin de
parler VS personnes vulnérables au
suicide?
 Appelants occasionnels VS appelants
fréquents?
Étape 2. Mesurer les impacts
 Réduction de la détresse?
 Réduction du risque suicidaire?
 Résolution de problèmes?
 Orientation vers des ressources?

10. Étape 3. Analyser les impacts du service sur les différents
profils d’appelants
Description
des
appelants
Profil 1
Profil 2
Profil 3
Impacts du
service sur
…
Profil 1
Profil 2
Profil 3

11. Étapes 1à 3 = évaluation sommaire
 À cette étape-ci, vous pourrez répondre aux questions d’évaluation
suivantes
 Rejoins-t-on la population cible?
 Le service est-il efficace?
 Pour qui le service est bénéfique?
 Pour qui le service est néfaste?
 Cependant, ce type d’évaluation ne permet pas d’identifier les bonnes
pratiques d’intervention et ainsi d’améliorer le service…
 Problème de la boite noire

12. Le problème de la boite noire
Appelants
Différents profils
d’appelant
BOITE NOIRE
Qu’est-ce qui
fonctionne?
Pour qui ça fonctionne?
Pourquoi ça fonctionne?
Impacts
Réduction de la détresse
& du risque suicidaire,
résolution de problèmes,
orientation vers des
ressources

13. Le problème de la boite noire
Appelants
Différents profils
d’appelant
BOITE NOIRE
Quelles sont les pratiques
efficaces?
Pour qui c’est efficace?
Pourquoi c’est efficace?
Impacts
Réduction de la détresse
& du risque suicidaire,
résolution de problèmes,
orientation vers des
ressources

14. Le problème de la boite noire
Appelants
Différents profils
d’appelant
BOITE NOIRE
Quelles sont les pratiques
efficaces?
Pour qui c’est efficace?
Pourquoi c’est efficace?
Impacts
Réduction de la détresse
& du risque suicidaire,
résolution de problèmes,
orientation vers des
ressources

15. Le problème de la boite noire
Appelants
Différents profils
d’appelant
BOITE NOIRE
Quelles sont les pratiques
efficaces?
Pour qui c’est efficace?
Pourquoi c’est efficace?
Impacts
Réduction de la détresse
& du risque suicidaire,
résolution de problèmes,
orientation vers des
ressources

16. Comment
ouvrir la
boite
noire?

17. Étape 4. Décrire les processus cliniques
Degré d’adhésion au
modèle d’intervention
Exploration de la situation
Évaluation du risque suicidaire
Exploration des solutions
Plan d’action
Etc.
Diversité des techniques
d’intervention utilisées
Questions sur le problème
Reformulation
Reflet des émotions
Recadrage
Etc.
Qualités cliniques
Empathie
Respect
Directivité
Etc.

18. Étape 5. Identifier des styles d’intervention
Degré d’adhésion au
modèle d’intervention
•Étape 1 (+, -)
•Étape 2 (+, -)
•Étape 3 (+, -)
Diversité des
techniques
d’intervention utilisées
•Technique 1 (+, -)
•Technique 2 (+, -)
•Technique 3 (+, -)
Qualités cliniques
•Qualité 1 (+, -)
•Qualité 2 (+, -)
•Qualité 3 (+, -)
Différents
styles
d’intervention
•Style d’intervention 1
•Style d’intervention 2
•Style d’intervention 3

19. Étape 6. Mesurer les impacts des différents styles
d’intervention sur les différents profils d’appelant
Différents styles
d’intervention
Impacts
Style 1
Style 2Style 3
Profil
1
Profil
2
Profil
3
Style 1 X profil 1
Style 2 X profil 2
Style 3 X profil 3
Différents profils
d’appelant

20. Étapes 1 à 6 = évaluation transformative
•Réflexion sur la
mission et les
objectifs du
service
•Formation des
intervenants
•Changement
des pratiques
Amélioration
des impacts
du service
•Comment
intervenir
•De quelle
manière
•Auprès de qui
Identification
des bonnes
pratiques
•Qu’est-ce qui
fonctionne
•Pour qui ça
fonctionne
•Pourquoi ça
fonctionne
Processus
cliniques
•Qui bénéficie
du service
•Qui ne
bénéfice pas
du service
Impacts
actuels du
service
•Qui contacte le
service
•Qui ne
contacte pas le
service
Population
rejointe

21. Les services d’intervention par
texto et clavardage
Caractéristiques et défis d’intervention

22. Utilisateurs des
services d’intervention
via texto/clavardage
 Plus de jeunes
 souvent 50% des appelants ont moins de
20 ans
 Plus de filles
 Pour les jeunes = souvent 4/5
 Crises suicidaires plus fréquentes
 Problématiques plus sévères
 Problématiques d’automutilation
fréquentes

23. Défis d’intervention dans les services d’intervention via
texto/clavardage
 Défis techniques
 La quantité d’informations échangées
 La durée et le rythme de l’intervention
 Défis cliniques
 L’évaluation de la détresse
 Évaluation du risque suicidaire
 Le contrôle de l’intervention
 Complétion du modèle d’intervention -
plan d’action pas toujours abordé

24. Enjeux et défis
d’évaluation

25. La communication via texto/clavardage:
un phénomène complexe

26. Pour évaluer quelque chose, il
faut d’abord être en mesure de
l’observer…
 Variation du risque suicidaire
 Variation de la détresse
 Changements dans les motivations et intentions
 Caractéristiques techniques des interventions
 Caractéristiques cliniques des interventions
 Impacts des interventions

27. La fiche d’intervention comme méthode d’observation

28. Avantages et inconvénients
des fiches d’intervention
 Avantages
 Peu couteux
 Rapide
 Facile à implanter
 Inconvénients
 Auto-évaluation
 Ce que l’intervenant a fait VS ce qu’il
voulait faire?
 Problèmes de communication = mauvaise
interprétation de l’interaction et des
impacts de l’intervention

29. L’analyse de contenu comme méthode d’observation
 L’analyse de contenu (Bardin, 1989)
 Analyse d’une communication en vue de
décrire et déchiffrer tout passage de
signification d'un émetteur à un récepteur.
 Pertinence pour l’évaluation
 Analyser les transcriptions d’intervention pour
caractériser le profil des appelants, les processus
cliniques et les impacts du services
d’intervention

30. L’analyse de contenu comme méthode d’observation

31. L’analyse de contenu comme méthode d’observation

32. L’analyse de contenu - avantages
 Risque suicidaire
 présence de verbalisations
suicidaires
 Processus cliniques
 Description des pratiques
d’intervention
 Description des pratiques
d’évaluation du risque suicidaire
 Impacts (évidents, verbalisés)
 Indices d’impacts des différents
types d’interventions
 Indices de réduction de la détresse
et du risque suicidaire
 Indices de changement dans les
motivations et intentions de
l’appelant (ex.: intention d’utiliser
une référence)

33. L’analyse de contenu - inconvénients
 L’appelant était-il suicidaire?
 Les idéations suicidaires ne sont pas toujours exprimées
 Pratiques d’estimation du risque suicidaire ont un impact sur la divulgation des
idéations (dont ask, dont tell)
 Absence d’indices para-verbaux rend difficile la détection des états mentaux
 Dépend beaucoup du style d’écriture, de l’expression des émotions
 Beaucoup d’inférences de la part de l’observateur
 Résolution de problèmes & orientation vers des ressources externes
 Ne permet pas d’observer l’utilisation de ressources externes par les appelants
 Ne permet pas d’évaluer la pertinence et l’utilisation des références par les
appelants

34. Le questionnaire comme méthode d’observation

35. Compenser les faiblesses de l’analyse de
contenu par l’emploi de questionnaires
 Permet d’investiguer le risque suicidaire en l’absence d’une évaluation de la part
de l’intervenant
 Description plus élaborée des profils d’appelants(ex: historique de tentatives,
facteurs de risque, problématiques)
 Permet une meilleure description des variations dans l’état mental des appelants
 Suivi post-intervention (mise en œuvre du plan d’action discuté avec l’intervenant,
utilisation d’une référence, pertinence de la référence)
 Possibilité de demander à l’appelant ce qui, dans l’intervention, a été le plus utile

36. Limites de la combinaison de l’analyse
de contenu et du questionnaire
 Il se peut que certains indicateurs donnent des résultats contradictoires (ex.:
verbalisations de détresse ≠ détresse rapportée dans le questionnaire)
 Instruments de mesure inadéquats?
 Erreurs de mesure?
 Complexité du phénomène que l’on tente de mesurer?
 Indication de la présence d’un phénomène que l’on n’avait pas anticipé/théorisé?
 Il peut donc être utile de …
 Effectuer des entretiens de suivi avec les appelants
 Discuter les résultats avec l’organisation et les intervenants

37. À qui sert l’évaluation? - Le choix des instruments de
mesure
 Afin d’assurer l’utilité des résultats pour l’organisation, s’assurer que les
outils de mesure employés …
 Opérationnalisent adéquatement leur théorie d’intervention
 Mesurent bien leurs pratiques
 Produisent des données interprétables

38. Le devis d’évaluation idéal
Co-construction &
validation des instruments
de mesure auprès de
l’organisation
Pilote – valider l’utilité et
l’interprétabilité des
données produites par les
instruments de mesure
Questionnaire pré-
intervention
•Profil d’appelant
•État mental
•Risque suicidaire
Analyse de contenu
•Description des processus cliniques
•Impacts manifestes :
•La détresse, le risque suicidaire
•Intentions, motivations – plan
d’action, références
Questionnaire post-intervention
•État mental
•Risque suicidaire
•Satisfaction
Fiches d’appelants
•Perceptions des intervenants
Questionnaire et entretien
de suivi
•État mental
•Risque suicidaire
•Utilisation des ressources
•Mise en œuvre du plan d’action
Discussions des résultats
avec les intervenants
Modification des pratiques

39. À emporter

40. Population cible
 Promotion du service
 La population cible a-t-elle entendu parler du service?
 Est-elle disposé à utiliser le service?
 Données d’opération du service
 La population cible contacte-t-elle le service?

41. La boite noire
 Décrire les processus cliniques afin
d’identifier les meilleures pratiques
d’intervention
 “Qu’est-ce qui fonctionne?” “
 “Pour qui ça fonctionne?”
 “Pourquoi ça fonctionne?”

42. L’observation
 Trianguler les méthodes
d’observation
 Quantitatif, qualitatif
 Fiches d’intervention,
questionnaires,
analyses de contenu,
entretiens

43. Fidélité des
instruments de mesure
 Ne pas se fier uniquement aux fiches
d’intervention
 Utiliser des instruments de mesure ayant
une bonne fidélité
 2 observateurs + 1 instrument de mesure =
résultats similaires

44. Pragmatisme
 S’assurer que les résultats de l’évaluation seront
interprétables et utiles pour l’organisation
 Valider les outils auprès de l’organisation
 Outils opérationnalisent adéquatement la
théorie d’intervention de l’organisation
 Outils mesurent bien leurs pratiques
 Effectuer un pilote
 Discuter les résultats avec les intervenants

45. Adopter une posture “critique”
 Apprécier la complexité
 Accueillir la découverte
 Mettre à l’épreuve nos
croyances
 Questionner nos dogmes