Webinaire du CCNMO : MetaQAT

Follow us @nccmt Suivez-nous @ccnmo
Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMaster
Le développement de cette présentation a été rendu possible grâce à une contribution financière de l'Agence de la santé publique du
Canada. Les opinions exprimées ici ne représentent pas nécessairement celles de l’Agence de la santé publique du Canada.
Conférencières :
Laura Rosella, Ph. D., maîtrise en sciences de la santé
Catherine Bornbaum, Ph. D.
21 mars 2017 13 h-14 h 30 HE
MetaQAT

2
Utilisez Chat pour partager vos questions
et commentaires pendant le webinaire.
• « Envoyez » les questions à tous
(et non en privé à l’animatrice)
Problèmes de connexion
• Connexion à Internet filée (et non
sans fil) recommandée
• Ligne d’aide WebEx offerte
24 heures sur 24, sept jours sur
sept
• 1-866-229-3239
Gestion interne
Panneau latéral du
participant dans
WebEx
Chat

3
Après aujourd’hui
La présentation PowerPoint (en anglais et en
français) et l’enregistrement audio en anglais seront
offerts.
Ces ressources se trouveront à l’adresse :
PowerPoint :
https://www.slideshare.net/NCCMT/presentations
Enregistrement audio :
https://www.youtube.com/user/nccmt/videos

4
1re question de sondage
Combien de personnes regardent la
séance d’aujourd’hui avec vous?
A. Il n’y a que moi
B. De 1 à 3
C. De 4 à 5
D. De 6 à 10
E. Plus de 10

No
Image
Votre profession?
Mettez un √ sur votre réponse (ou RSVP par courriel)
/
5
Épidémiologiste Direction (directeur,
superviseur, etc.)
Professionnels de la
santé connexes
(infirmier, diététicien,
hygiéniste dentaire,
etc.)
Bibliothécaire Médecin/Dentiste Autre
6

No
Image
Follow us @nccmt Suivez-nous @ccnmo 76
Épisode 32
MetaQAT
http://www.nccmt.ca/fr/ressources/interrogez-le-registre/243

CCN des
maladies
infectieuses
Winnipeg, MB CCN des
méthodes
et outils
Hamilton, ON
CCN sur les
politiques
publiques et
la santé
Montréal, QC
CCN des
déterminants
de la santé
Antigonish, N.-É.
CCN de la
santé
autochtone
Prince George,
C.-B.
CCN en santé
environne-
mentale
Vancouver (C.-B.)
7

Registre des méthodes
et des outils
Possibilités
d’apprentissage
en ligne
AteliersMultimédia
Santé publique+
Réseautage et
relations
externes
Produits et services du CCNMO
8

9
2e question de sondage
Dans quelle mesure connaissez-
vous la méthode ou l’outil dont
nous discutons aujourd’hui?
A. Je ne connais pas la méthode ni l’outil
B. J’ai entendu parler de la méthode ou de
l’outil
C. J’ai utilisé la méthode ou l’outil

10
Conférencière
Laura Rosella, Ph. D., maîtrise en
sciences de la santé
Chaire de recherche du Canada en analyse
de la santé de la population
Professeure adjointe, École de santé
publique Dalla Lana, Université de Toronto
Chercheuse, Santé publique de l’Ontario
Chercheuse associée, Institut de recherche
en services de santé

11
Conférencières
Associée de recherche, École de santé
publique Dalla Lana, Université de
Toronto
Professeure auxiliaire de recherche,
Université Western

Une approche de santé publique de
l’évaluation des données probantes :
méta-outil pour l’évaluation de la qualité
(MetaQAT)
Laura Rosella, Ph. D.
École de santé publique Dalla Lana
Santé publique de l’Ontario
21 mars 2017

Équipe du projet
• Laura Rosella, scientifique
• Beata Pach, gestionnaire, Services de bibliothèque
• Carolyn Bowman, coordonnatrice principale de la recherche
• Sarah Morgan, bibliotechnicienne
• Tiffany Fitzpatrick, épidémiologiste
• Vivek Goel, scientifique
13

Objectifs
1. Raison d’être et développement de l’outil MetaQAT de SPO
2. Orientation de l’outil et guide de l’utilisateur
14

15
Idée/demande de
sujet d’examen
Formulation de la question d’examen
précise
Recherche documentaire
Application des critères
d’inclusion et d’exclusion
Évaluation de la qualité des
études incluses
Extraction et analyse des données
Synthèse ou
conclusions
Commencera
directement ici pour
l’examen d’une étude
Une certaine
itération peut être
nécessaire
Peut être fait en même temps
ex. lors de la documentation de l’évaluation,
vous pouvez aussi ajouter les champs
d’extraction des données souhaitées

« L’évaluation critique est le processus qui consiste à examiner
systématiquement et soigneusement les recherches pour juger
de leur fiabilité, de leur valeur et de leur pertinence dans un
contexte particulier. »
• Évaluer judicieusement la qualité des données est difficile
• Nécessite une expertise (de préférence des méthodes et des contenus)
• Si nous tentons de constituer une base de données probantes qui orientera
les décisions de santé publique – le processus doit être judicieux et
transparent
• La transparence est essentielle – elle nous permettra non seulement de
mieux soutenir des recommandations, mais aussi de remettre en question
nos propres hypothèses pour faire en sorte que la science soit le plus solide
possible
• Le « pourquoi » est souvent aussi important que le résultat
Évaluation qualitative (critique)
16Source: Burls A. What is critical appraisal? 2nd ed. [Internet]. Newmarket, UK: Hayward Group; 2009 [cited 2015 Mar 2]. Available from
http://www.bandolier.org.uk/painres/download/whatis/What_is_critical_appraisal.pdf

L’évaluation doit être une question de compréhension
• Les forces et les faiblesses
• Nous devons prendre des décisions, il est important d’utiliser
les données probantes à leur pleine mesure
• Comprendre comment les données peuvent être utilisées de
manière appropriée
17

Subjectif n’est pas nécessairement mauvais
• Les jugements sont fondés sur les principes d’évaluation
• En utilisant les mêmes principes, on décèlera des problèmes
similaires
• Le fait qu’il n’y ait pas une seule bonne réponse ne veut pas
dire qu’on peut affirmer n’importe quoi!
• La transparence est la clé : une autre personne devrait être en
mesure de comprendre pourquoi vous avez fait votre
évaluation
18

Transparence
• Importance de la documentation – si les autres savent ce que
vous avez évalué et pourquoi, ils peuvent « évaluer votre
appréciation »
• La transparence est la clé : une autre personne devrait être en
mesure de comprendre pourquoi vous avez fait votre
évaluation
• Pensez-y comme à un moyen pour une autre personne de
vérifier votre analyse des données probantes – comme un
audit de code suivant une analyse statistique 19

Validité interne
• Elwood : mesure la facilité avec laquelle une différence entre
les résultats de deux groupes peut être attribuée aux effets
d’une exposition ou d’une intervention
• L. Green : « l’essence de la rigueur »
Validité externe
• Généralisation des résultats de l’étude à la population dans
laquelle l’échantillon a été prélevé (ou même au-delà de cette
population à un énoncé plus universel)
• Sans validité interne, une étude ne peut pas avoir de validité
externe
• L. Green : « L’essence de la pertinence »
20
Validité interne et externe

La validité interne peut être influencée par...
• la méthodologie de l’étude
• les propriétés de mesure des variables
• le recrutement des participants à l’étude/le taux de réponse
• les pressions liées à la sélection
• la stratégie d’échantillonnage
• le milieu
• les chercheurs/le financement
• entre autres facteurs…
• terme privilégié : RISQUE DE BIAIS (RdB)
21

Le risque de biais ne nous renseigne pas sur
l’utilisation prévue des données probantes
• L’application des données probantes est importante pour la
santé publique
• Le contexte compte – où les données probantes ont été
générées, où elles seront appliquées
• L’importance des différents facteurs lorsque l’évaluation des
données probantes doit être guidée par l’application prévue
25

Vision contemporaine de « fondé sur des données
probantes »
• Guidé par des données probantes
• L’idée que les données probantes (au sens scientifique) orientent la pratique,
mais que d’autres facteurs sont importants
• Le poids des données probantes par rapport à la force des données
probantes
• La médecine fondée sur des données probantes se concentre
traditionnellement sur la solidité des données probantes (ex. essais contrôlés
randomisés) et écarte les données probantes indirectes d’autres sources
• Larry Green : « Si nous voulons plus de pratiques fondées sur des
données probantes, il nous faut de données probantes fondées sur les
pratiques »
26

La santé publique fondée sur des données
probantes (SPFDP)
• « initiative de santé publique dans laquelle il y a une utilisation
éclairée, explicite et judicieuse des données probantes obtenues
grâce à une méthode parmi un éventail de méthodes de
recherche et d’évaluation des sciences et des sciences sociales »
• Reconnaît les nombreux facteurs, au-delà des simples données
probantes, qui influencent la prise de décision
• « La SPFDP est un processus multidisciplinaire complexe, qui se
produit au sein de communautés dynamiques et en constante
évolution et englobe différents secteurs de la société »
http://www.nccmt.ca/uploads/media/media/0001/01/b331668f85bc6357f262944f0aca38c14c89c5a4.pdf
27

Méfiez-vous de la pyramide des données probantes
28

Hiérarchie de la solidité des données probantes pour les
décisions relatives au traitement ou aux interventions
(Recherche quantitative)
29
Solidité relative des
données probantes (1
étant le plus solide)
Type de données probantes
1 • Examen systématique des essais contrôlés randomisés
2 • Examen systématique des études d'observation portant
sur les résultats importants pour la santé de la
population
3 • Un seul essai randomisé
4 • Étude d'observation unique des questions importantes
pour la population
• Résultats
5 • Étude épidémiologique et physiologique (ex., étude de
la prévalence de l'infection, prévalence des facteurs de
risque cardiovasculaire)
http://www.nccmt.ca/uploads/media/media/0001/01/b331668f85bc6357f262944f0aca38c14c89c5a4.pdf

Qu’est-ce qui est préférable?
• Une vaste et rigoureuse étude de cohorte prospective ou un
petit essai contrôlé randomisé mal réalisé?
• Un examen systématique de douzaines d’études de cas-
témoins bien conduites ou un vaste essai clinique randomisé?
• Un vaste et rigoureux essai contrôlé randomisé effectué au
Japon ou une analyse de séries chronologiques menée à
Calgary? (en supposant que vous vivez à Toronto)
30
L’évaluation critique et la hiérarchie des données probantes

Qu’est-ce qui est préférable?
• Une vaste et rigoureuse étude de cohorte prospective ou un petit essai
contrôlé randomisé mal réalisé?
• Un examen systématique de douzaines d’études de cas-témoins bien
conduites ou un vaste essai clinique randomisé?
• Un vaste et rigoureux essai contrôlé randomisé effectué au Japon ou une
analyse de séries chronologiques menée à Calgary? (en supposant que
vous vivez à Toronto)
• Une étude bien menée, qui occupe un rang « inférieur » dans la hiérarchie
des données probantes peut effectivement être meilleure... chaque étude
doit être interprétée et évaluée séparément
31
L’évaluation critique et la hiérarchie des données probantes

32
Points à retenir :
1. Évaluation de la qualité globale ≠ validité
interne seulement
2. L’évaluation du risque de biais touche
principalement la validité interne
3. La qualité de l’étude n’est qu’une
considération parmi d’autres dans le poids
des données probantes

Compétences et connaissances requises pour
l’évaluation de la qualité
• Connaissance du domaine thématique
• Connaissances et expériences des méthodes précises utilisées
• Connaissance de l’application prévue
• Expérience en évaluation
• Excellentes aptitudes en documentation – consigner les motifs
des prises de décision
• Remarque : Ces caractéristiques peuvent refléter les
capacités de l’équipe
33

Un examen systématique de 121 outils d’évaluation
critique publiés
• 87 % des outils d’évaluation critique étaient propres à une
méthodologie de recherche, la plupart des outils ayant été mis
au point pour des études expérimentales
• 49 % des outils d’évaluation critique résument l’évaluation de la
qualité en un score numérique global
• Peu d’outils d’évaluation critique avaient des données probantes
documentant la validité de leurs articles, ou la fiabilité
d’utilisation
• « Nous n’avons trouvé aucun outil d’évaluation critique qui soit
la référence absolue pour tout type de méthodologie d’études »
35
Source : Katrak P, Bialocerkowski AE, Massy-Westropp N, Kumar S, Grimmer KA. A systematic review of the content of critical appraisal tools.
BMC Med Res Methodol. 2004 [cité le 7 août 2014];4 h 22. Accessible ici : http://www.biomedcentral.com/content/pdf/1471-2288-4-22.pdf

Avantages proposés des cadres d’outils
d’évaluation
• Des listes de vérification pour nous assurer que nous ne
négligeons pas des considérations importantes (ex. Aide-
mémoire)
• PEUT limiter ce que nous recherchons, selon le contenu de l’outil
• Standardiser l’approche de l’examen des données probantes
• Ceci peut être facilement contesté parce que de nombreux jugements
sont subjectifs – je préfère savoir pourquoi vous avez jugé quelque
chose de telle manière plutôt que ce qu’était votre jugement
36

Une comparaison des outils
Voss et Rehfuess
ÉVALUATION DE LA QUALITÉ DANS LES EXAMENS
SYSTÉMATIQUES DES INTERVENTIONS DE SANTÉ PUBLIQUE :
UNE ÉTUDE EMPIRIQUE DE L’IMPACT DU CHOIX DE L’OUTIL SUR
LA MÉTA-ANALYSE
Recommandations :
1) Mise à l’essai d’un ensemble plus large d’outils d’évaluation
de la qualité (OEQ) sur un examen systématique actualisé
d’une intervention de santé publique couvrant un large
éventail de méthodologies d’études épidémiologiques
2) La recherche sur le développement d’un OEQ fiable ayant
une large applicabilité dans toutes les méthodologies
d’études
37
Source : Voss PH, Rehfuess EA. Quality appraisal in systematic reviews of public health interventions: an empirical study on
the impact of choice of tool on meta-analysis. J Epidemiol Community Health. 2013;67(1):98-104.

Caractéristiques d’un OEQ qui serait la référence absolue
Voss et Rehfuess
1) Plutôt, un ensemble d’OEQ complémentaires ayant des éléments communs et des
éléments propres à la méthodologie d’une étude pourrait d’abord être mis au point
pour les méthodologies standards, puis étendu à des méthodologies plus
complexes.
2) Un score global de synthèse peut entraîner une perte d’informations et la
sursimplification. Les auteurs proposent plutôt la quantification minutieuse des
domaines (plutôt que des questions individuelles) dans une liste de contrôle
pondérée.
3) Examinerait à la fois la validité interne et externe en faisant une distinction claire
entre les deux.
4) Beaucoup plus d’efforts devraient être investis dans le développement et la mise à
l’essai des catégories de questions et de réponses appropriées et spécifiques; un
guide peut en faciliter la bonne interprétation.
5) L’adaptation de certaines questions selon la discipline rend l’évaluation de la qualité
plus précise et plus fiable qu’un OEQ universel.
38
Source : Voss PH, Rehfuess EA. Quality appraisal in systematic reviews of public health interventions: an empirical study on
the impact of choice of tool on meta-analysis. J Epidemiol Community Health. 2013;67(1):98-104.

Les étapes du projet MetaQAT
40
Étape 1 : Collecte
des informations
Étape 2 : Synthèse
des informations
Étape 3a : Rédaction
du méta-outil
Étape 3 b :
Peaufinage du
projet de méta-outil
Étape 4 : Réalisation
des tests pilotes
Étape 5 : Validation

Étape 1 : Collecte des informations
• Recherche des outils existants
• Bases de données
• Documentation parallèle
• Documents d’orientation et de référence sur l’évaluation critique de la santé
publique (NICE, ECDC, CCNMO, Cochrane)
• Sites Internet
• Universités offrant des programmes de santé publique
• Répertoire d’outils d’évaluation critique du CCNMO
• Consultation des experts
• Consultation du personnel de SPO
41

Résumé des outils pour orienter l’évaluation
• De nombreux outils existent (la plupart non validés)
• La plupart reflètent le point de vue de la médecine fondée sur
des données probantes
• Accent sur la validité interne (ou le risque de biais)
• Beaucoup utilisent des échelles ou des scores numériques
• Non valides, non recommandés par la Collaboration Cochrane
• De nombreux outils appropriés pour des contextes précis
(sujet, projet, méthodologie de l’étude)
• Quelque chose de plus souple était nécessaire
42

Quel genre d’outil?
• Un outil convenant à notre contexte
• Divers types d’examen
• Examens rapides, sommaires de preuves, examens systématiques, etc.
• Divers types de contenu
• Les maladies chroniques, les maladies infectieuses, la santé
environnementale, la promotion de la santé, la prévention des blessures, etc.
• Attention particulière accordée à l’applicabilité des données probantes
• Pas seulement à la qualité
• Ne pas réinventer la roue
• Prendre pour point de départ le contenu existant
43

Quel outil pour SPO?
• De nombreux outils appropriés à des contextes précis (sujet,
projet, méthodologie de l’étude)
• Ressources permettant de trouver des outils
• Répertoire d’outils du CCNMO
• Bibliothèque SA de l’Université
• Besoins de SPO :
• Compatible avec tous les types de données probantes que nous
utilisons
• Compatible avec tous les types de projets que nous réalisons
• Conforme aux pratiques exemplaires actuelles
• Pas de scores numériques; acceptable pour le domaine
• Favorise un processus transparent
• Résultat de l’étape 1 : pas un outil d’évaluation critique (trop
limité) 44

Étape 2 : synthèse de l’information
• Regrouper les outils selon la méthodologie de l’étude
• Comparer les questions d’un outil à l’autre
• Similitudes entre les outils dans chaque méthodologie
• Comparer les similitudes entre les méthodologies des études
• Le processus de base de tous les outils est semblable
• La couverture du processus correspond au guide de l’OPHLA
• Générique, s’applique à tous les types de données probantes
• Un cadre générique se dégage
• Toutes les questions peuvent être regroupées en quatre catégories
• Encore besoin de détails propres à l’étude pour un niveau élevé de rigueur
• Pas un outil d’évaluation critique, un processus d’évaluation de
la qualité
45

Étape 3a : rédaction du projet de méta-outil
• Élaborer un cadre et sélectionner les outils complémentaires
• Outils complémentaires – approche pragmatique
• Utilisation répandue dans la littérature en santé publique
• Préférence aux outils dont la validation est documentée
• Compromis – outils de production de rapports largement utilisés
• Facilité d’utilisation
• Réviser en fonction des avis scientifiques
46

Étape 3 b : peaufinage du projet de méta-outil
• Séances de rétroaction
• Sélection du personnel pour des séances de rétroaction
• Évaluation de l’article échantillon, interprétations des questions
• Révisions apportées par souci de clarté, réorganisation
• Version révisée présentée au troisième groupe
• Révisions effectuées
• Outil approuvé pour les essais pilotes, la poursuite du
développement et l’évaluation
47

Étape 4 : réalisation des tests pilotes
• Introduit aux équipes pour une période d’essai dans des
projets précis
• Éventail de sujets et de types de projets
• Mise au point des méthodes de formation
• L’introduction à l’outil comme projet a atteint le stade de l’évaluation
• Évaluation
• Convenance de l’outil pour les projets et le personnel, exigences
relatives à la mise en œuvre complète
48

Résultats choisis des tests de l’étape
pilote
INTÉGRATION DE DIVERS GROUPES DE DONNÉES PROBANTES
• Application à des projets ayant un mélange hétérogène de
données probantes
• La flexibilité de MetaQAT a permis l’évaluation intégrée des
données probantes quels que soient leurs méthodes et modèles
• A facilité les décisions de sélection
• A élargi le champ d’évaluation et promu la considération
appropriée du contexte par rapport à la validité interne
seulement
• Observe un processus cohérent d’évaluation dans un groupe de
données probantes qui comprend la documentation parallèle et
la veille de littérature
49

Étape 5 : Validation
• Deux groupes d’évaluateurs
• un groupe a utilisé MetaQAT, d’autres groupes ont évalué les forces et
les faiblesses de plusieurs études
• Analyse des évaluations écrites
• Analyse de contenu
• Les deux groupes ont cerné des problèmes similaires
• Le groupe MetaQAT a déterminé la pertinence pour la santé
publique
50

Méta-outil
• Le concept de « méta » n’est pas un seul outil ou cadre (sens
traditionnel), c’est un guide de processus qui oriente
l’utilisateur dans l’emploi approprié de plusieurs outils
d’évaluation, et les situe dans un cadre plus large pour guider
leur utilisation
• Un outil d’outils : cadre d’évaluation qui intègre les outils
existants pour l’évaluation du risque de biais propre à la
méthodologie
• Documentation – consigne le processus d’évaluation de la
transparence
51

Structure de MetaQAT
52
Pertinence
Outils complé-
mentaires
AMSTAR
CASP
TREND
CONSORT
Méthodes mixtes
AGREE II
Guide de navigation
Guide d’évaluation de la
documentation parallèle de
SPO
Fiabilité
Validité
Applicabilité
Cadre d’évaluation
Rosella, L. Bowman, C., Pach, B., Morgan, S., Fitzpatrick, T., Goel, V. The development and validation of a meta-tool for
quality appraisal of public health evidence: Meta Quality Appraisal Tool (MetaQAT). Public Health. 2016;136:57-65.

Structure de MetaQAT
Domaine Idée
Pertinence
• Déterminer si l'élément évalué est suffisamment lié à votre sujet ou question de
recherche.
• Dans un examen systématique structuré, la pertinence peut également être prise en
compte dans les critères d'inclusion et d'exclusion.
Fiabilité
• Évaluer l'intégralité des rapports; un rapport complet est nécessaire afin de procéder
à un examen approfondi de la qualité.
• Le manque de détails concernant la conduite de l'étude ou le rapport peut être une
indication d'information de moindre qualité.
Validité
• La probabilité et l'ordre de grandeur de l'erreur ou du biais dans une étude.
• « Risque de biais » ou « Validité interne»
Applicabilité
• Envisager comment les données probantes peuvent être appliquées à la pratique en
santé publique.
• Peut aussi envisager plus largement les enseignements à tirer des données probantes
et comment appliquer ces connaissances à la prise de décision en santé publique.
53
Rosella, L. Bowman, C., Pach, B., Morgan, S., Fitzpatrick, T., Goel, V. The development and validation of a meta-tool
for quality appraisal of public health evidence: Meta Quality Appraisal Tool (MetaQAT). Santé publique.
Dans le formulaire, le terme « étude » désigne le travail qui fait l’objet d’une évaluation et vise à inclure tous les types d’études, y compris la recherche
publiée à titre de documentation parallèle, de synthèse, et tout autre type de donnée probante à l’étude.

Formulaire d’évaluation de MetaQAT
54
• Domaine
• Question principale
• Questions incitatives
• Orienter la réflexion sur
la question principale
• Stimuler la réflexion,
ne pas la limiter
• Réponse par écrit
• Cases à cocher en
option

• Format de réponse par écrit
• Résumé écrit des points clés
• Options de case à cocher offertes MAIS
• Un résumé écrit est la réponse à la
question (nombreux formats possibles)
55

• Point de branchement en préparation – vers des outils complémentaires
propres à la méthodologie SI DÉSIRÉ
• Dans le domaine de la validité, question b) La méthodologie de recherche est-elle libre
de parti pris?
• Détails propres à la méthodologie grâce à des outils complémentaires SI
DÉSIRÉ
56
• Peut aussi créer
des questions
incitatives
propres au
contexte

Résumer l’évaluation d’un élément
• Le résumé textuel des principales forces et des faiblesses par
domaine et par question
• Cette information fournira une bonne compréhension de la qualité de
l’élément
• Par exemple, lequel est plus utile? « 8 sur 10 » ou : « le groupe d’étude
était petit, mais ses caractéristiques sont très semblables à celles de
notre population locale »
• Nous élaborons des conseils pour le développement d’un vocabulaire
des résumés/synthèses
• « L’utilisation d’échelles d’évaluation de la qualité ou du risque
de biais est explicitement déconseillée dans les examens de
Cochrane »
57
Source : Higgins JPT, Green S, editors. Cochrane handbook for systematic reviews of interventions. Version 5.1.0
[Internet]. London : Cochrane Collaboration; 2011 [cited 2015 Feb 10]. Section 8.3.3, Quality scales and
Cochrane reviews. Accessible à : http://handbook.cochrane.org

Guide de l’utilisateur de MetaQAT
• Le document de MetaQAT comprend des renseignements
généraux pertinents et des conseils d’utilisation – nous vous
invitons à le lire! (URL à venir)
• Pour plus de détails :
Rosella L, Bowman C, Pach B, Morgan S, Fitzpatrick T, Goel V. The
development and validation of a meta-tool for quality appraisal
of public health evidence: Meta Quality Appraisal Tool
(MetaQAT). Public Health. 2016;136:57-65. Accessible ici :
http://www.publichealthjrnl.com/article/S0033-3506(15)00437-
0/abstract
58

Dur travail en perspective
• Le processus de l’évaluation systématique des données
probantes et la documentation de ce processus sont ardus et
peuvent prendre du temps, mais ces défis peuvent exister
indépendamment de l’outil ou du cadre
59

60
https://www.publichealthontario.ca/fr/ServicesAndTools/Pages/Critical-Appraisal-Tool.aspx
Captures d’écran à venir

Bibliographie
• Rosella L, Bowman C, Pach B, Morgan S, Fitzpatrick T, Goel V. The
development and validation of a meta-tool for quality appraisal of public
health evidence: Meta Quality Appraisal Tool (MetaQAT). Public Health.
2016;136:57-65. Accessible ici :
http://www.publichealthjrnl.com/article/S0033-3506(15)00437-0/abstract
• Voss PH, Rehfuess EA. Quality appraisal in systematic reviews of public
health interventions: an empirical study on the impact of choice of tool on
meta-analysis. J Epidemiol Community Health. 2013;67:98-104.
• Heller RF, Verma A, Gemmell I, Harrison R, Hart J, Edwards R. Critical
appraisal for public health: A new checklist. Public Health. 2008;122:92-98.
• Jüni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of
clinical trials for meta-analysis. JAMA. 1999;282(11)1054-1060.
• Katrak P, Bialocerkowski AE, Nassy-Westropp N, Kumar VSS, Grimmer KA. A
systematic review of the content of critical appraisal tools. BMC Med Res
Methodol. 2004 [cité le 16 décembre 2013];4(22) : . Accessible ici :
http://www.biomedcentral.com/1471-2288/4/22
64

Gestion de l’information
• La version Excel du formulaire est accessible en tant que
modèle
65

69
Pleins feux sur les méthodes et outils du CCNMO :
Utilisation de MetaQAT pour l’évaluation de la qualité
dans un
examen systématique
Directrice générale, Programme de recherche en analyse de la santé de la population
Associée de recherche, École de santé publique Dalla Lana, Université de Toronto
Professeure auxiliaire de recherche, Sciences de la santé et de la réadaptation, Université
Western

Contexte
• La non-optimisation de l’utilisation des données issues de la recherche peut
entraîner une diminution de la qualité des soins1, l’utilisation inefficace des
ressources2,3 et de moins bons résultats de santé chez les individus et les
communautés4
• Compte tenu des difficultés relatives à la transmission efficace des
connaissances entre les chercheurs, les praticiens et les décideurs5, les
experts en application des connaissances ont plaidé en faveur de la
désignation d’un intermédiaire pour atténuer les difficultés inhérentes au
partage des connaissances6,7
• Les courtiers de connaissances travaillent en collaboration avec les
principales parties prenantes pour faciliter l’application et l’échange de
données probantes et du contexte
• Rôles clés :
• Gestionnaire de connaissances, agent de liaison, agent de
renforcement des capacités
70

Comprendre comment les courtiers de connaissances fonctionnent dans la
pratique liée à la santé, et évaluer si l’utilisation d’un courtier de
connaissances pourrait faciliter les initiatives d’application efficace des
connaissances.
Objectifs :
1. Améliorer la conceptualisation du rôle du courtier de connaissances dans
les milieux liés à la santé; et
• Mettre à l’épreuve la théorie du courtage de connaissances dans la
pratique (analyse thématique confirmatoire8)
2. Déterminer si les courtiers de connaissances contribuent à l’application
des connaissances efficace dans les milieux liés à la santé
• Explorer les données sur les résultats pour déceler des signes
d’évolution des connaissances, des compétences, des politiques et des
pratiques9
• Réaliser une évaluation critique des données probantes à l’aide du
méta-outil d’évaluation de la qualité (MetaQAT)
71
Objectif

Critères d’inclusion et d’exclusion
• Critère d’inclusion
• Rapport sur une application réelle du courtage de connaissances
dans la pratique
• Milieu lié à la santé (ex., santé publique, milieu clinique,
réadaptation)
• Document accessible en anglais
• Critère d’exclusion
• Rapport sur les hypothèses théoriques concernant uniquement la
pratique du courtage de connaissances
• Protocoles d’étude
72

Méthode
Stratégie de recherche
Sources de données
• Bases de données
• MEDLINE; EMBASE; PsychINFO; CINAHL; SCOPUS; SocINDEX; Health Business
Elite
• Documentation parallèle
• Réseaux d’application des connaissances : Fondation canadienne pour
l’amélioration des services de santé, Centre de collaboration nationale des
méthodes et outils
• Organisations axées sur la santé : IRSC, Canadian Public Health Information,
Health Evidence, Bureau de santé publique de l’Ontario, Organisation
mondiale de la Santé
• La recherche manuelle
• ex., Implementation Science, BMC Health Service Research, etc.
• Listes de références
73

Méthode
74
IdentificationSélectionAdmissibilitéInclus
Documents trouvés
par les bases de
données (n = 7022)
Documents trouvés
par d’autres sources
(n = 340)
Documents trouvés
par les bases de
données (n = 502)
Documents trouvés
par d’autres sources
(n = 71)
Janvier 2014 Novembre 2014
Documents après
suppression des
doublons (n = 6363)
Documents
examinés (n = 227)
Articles en texte
intégral évalués
pour l’admissibilité
(n = 46)
Articles en texte
intégral exclus
(n = 181)
Documents
exclus
(n = 6 136)
Articles inclus dans la synthèse (n = 26)
Projets uniques inclus dans la synthèse (n = 20)
Articles inclus dans la synthèse (n = 3)
Projets uniques inclus dans la synthèse (n = 3)
Total des articles (n = 29)
Nombre total de projets uniques (n = 23)
Documents après
suppression des
doublons (n = 573)
Documents
examinés (n = 13)
Articles en texte
intégral évalués
pour l’admissibilité
(n = 12)
Documents
exclus
(n = 560)
Articles en texte
intégral exclus
(n = 1)

TÉMOIGNAGES DES UTILISATEURS DE METAQAT
• Adapté les formulaires de MetaQAT pour étudier le contexte
avant de procéder à une évaluation critique
• Modifié les « questions-indices » le cas échéant
• Adapté pour Excel
Méthode
Évaluation critique
• Pourquoi nous avons choisi le MetaQAT pour mener une
évaluation critique
• Permet l’analyse de divers modèles de recherche (ex., qualitative,
quantitative, documentation parallèle) et de milieux liés à la santé
• Cadre d’évaluation critique en quatre étapes mesurant : la pertinence, la
fiabilité, la validité et l’applicabilité
• Permet de faire des recherches sur des outils d’accompagnement propres à
la méthodologie pour l’évaluation selon la méthode quantitative, qualitative
et mixte de la méthodologie de la recherche
75

La conduite d’une évaluation critique
Utilisation d’un modèle Excel pour organiser les résultats
76
D’autres outils
complémentaires
nécessaires?
Évaluations de la pertinence,
de la validité, de la fiabilité et
de l’applicabilité

La conduite d’une évaluation critique
Remplir les outils complémentaires
77
Le cas échéant, remplir l’outil complémentaire avant le MetaQAT

78
Présentation des résultats de MetaQAT Format PowerPoint
Projet Pertinence Fiabilité Validité Applicabilité
A16,17 Milieu et
population
pertinents
Description insuffisante de
la population, de
l'intervention, des résultats
Biais potentiel dans la
méthodologie,
l'échantillonnage, les résultats
Description insuffisante
du contexte/des
résultats
B18 Milieu et
population
pertinents
la population et de
l'intervention
Biais potentiel dans
(réflexion non systématique)
Difficile à généraliser
C19 Milieu et
population
pertinents
Aucune description des
méthodes analytiques
Biais potentiel dans
(aucune perspective du
courtier des connaissances
(CC)
du contexte/des
résultats
D20-22 Milieu et
population
pertinents
Aucune préoccupation
significative
significative
significative
E23 Milieu et
population
pertinents
la population, de
l'intervention, des résultats
méthodologie,
l'échantillonnage, les sources
de données
Données insuffisantes
pour soutenir
l'applicabilité
F24,25 Milieu et
population
pertinents
la population et de
l'intervention
méthodologie, les sources de
données, les critères
d'exclusion
du rôle du CC et des
résultats
G26-28 Milieu et
population
pertinents
significative
On ne peut exclure la chance
(aucun intervalle de confiance
présenté)
significative

79
Présentation des résultats de MetaQAT
Format des manuscrits

Vous désirez être tenu au courant de nos
résultats?
80
Examen accessible à :
https://implementationscience.biomedcentral.com/articles/10.1186/s13012-015-0351-9

• Lors d’une métasynthèse, l’outil d’évaluation de la qualité doit être
suffisamment large pour tenir compte des diverses préoccupations
propres à la méthodologie
• Bien que conçu pour les contextes de santé publique, MetaQAT est
applicable à divers contextes liés à la santé
• ex., milieu clinique, réadaptation, politiques publiques en santé
• L’évaluation de l’« applicabilité » a été très utile pour évaluer l’utilité des
stratégies de courtage des connaissances – un élément clé de notre
examen
• Dans l’ensemble, MetaQAT était le seul outil capable de répondre à nos
besoins diversifiés en ce qui concerne la méthodologie et les facteurs
contextuels
81
Enseignements

Services de bibliothèque de Santé publique Ontario :
https://www.publichealthontario.ca/fr/ServicesAndTools/Pages/
Critical-Appraisal-Tool.aspx
82
Prêt à l’essayer?

Remerciements
• Nous tenons à remercier les Instituts de recherche en santé du Canada
pour leur soutien à ce programme de recherche (KAL-129895).
• Nous tenons à remercier les bibliothécaires de recherche de Santé
publique Ontario, Allison McArthur et Domna Kapetanos pour leur aide
dans la conception et la conduite de la stratégie de recherche.
83

Merci!
Vous voulez vous connecter? N’hésitez pas à nous écrire :
catherine.bornbaum@utoronto.ca
@CathBornbaum
84

Bibliographie
1. Jernberg T, P Johanson, Held C, Svennblad B, Lindbäck J, L Wallentin et al.: Association between adoption
of evidence-based treatment and survival for patients with ST-elevation myocardial infarction. Journal of
the American Medical Association 2011, 305: 1677-1684.
2. David D, Davis M, Jadad A, Perrier L, Rath D, Ryan D et al. (Eds):The case for knowledge translation:
Shortening the journey from evidence to effect. In British Medical Journal 2003, 327 : 33-35.
3. Madon T, Hofman K, Kupfer L, Glass R: Public health: Implementation science. Science 2007, 318 : 1728-
1729.
4. Chalmers I (Eds):If evidence-informed policy works in practice, does it matter if it doesn't work in theory?
In Evidence & Policy: A journal of Research, Debate and Practice 2005, 1: 227-242.
5. Graham I, Logan J, Harrison M, Straus S, Tetroe J, Caswell W et al. (Eds):Lost in knowledge translation: Time
for a map? In Journal of Continuing Education in the Health Professions 2006, 26: 13-24.
6. Dobbins M, DeCorby K, Twiddy T (Eds):A knowledge transfer strategy for public health decision makers. In
Worldviews on Evidence-Based Nursing 2004, 1 : 120-128.
7. Ward V, Maison A, S Hamer : Knowledge brokering: The missing link in the evidence to action chain?
Evidence & Policy 2009, 5 : 267-279.
8. Popay J, Roberts H, Sowden A, Petticrew M, L Arai, Rodgers M, et al. : Guidance on the conduct of narrative
synthesis in systematic reviews: A product from the ESRC methods programme. 2006.
9. Kujbida G, Stratton J. Effective knowledge translation tactics for increasing the use of health status and
surveillance data. 2014. Retrieved from : www.peelregion.ca/health/library/pdf/effective-kt.pdf
85

86
Vos commentaires ou
questions
• Utilisez Chat pour partager vos
questions et commentaires.
• « Envoyez » les questions à
tous (et non en privé à
l’animatrice)
Panneau latéral du
participant dans
WebEx
Chat

87
Cette méthode ou cet outil pourrait-il
être utile dans la pratique?
A. Énormément
B. Quelque peu
C. Pas du tout
D. Je l’ignore

88
Veuillez prendre quelques minutes pour partager vos
idées sur le webinaire d’aujourd’hui.
Vos commentaires et vos suggestions permettent
d’améliorer les ressources que nous offrons et de
planifier d’autres webinaires.
Le sondage court se trouve à l’adresse :
https://nccmt.co1.qualtrics.com/SE/?SID=SV_23nC
MSgc5sz9QJD
Votre rétroaction est importante

89
Quelles étapes suivrez-vous ensuite?
(Cochez toutes celles qui s’appliquent.)
A. Accéder à la méthode ou l’outil dont il est question
dans l’exposé.
B. Lire le sommaire du CCNMO sur la méthode ou
l’outil décrit aujourd’hui.
C. Songer à mettre en pratique la méthode ou l’outil.
D. Parler de la méthode ou de l’outil à un collègue.

90
DATE : Mercredi 5 avril 2017
HEURE : De 13 h à 14 h 30 (HE)
Vous cherchez un outil pour soutenir le développement de
programmes de planification? Vous planifiez la mise en œuvre de
programmes? Un aperçu des concepts clés concernant la mise en
œuvre de pratiques fondées sur des données probantes vous
intéresse? Joignez-vous à notre webinaire pour en apprendre
davantage sur notre série de vidéos sur l’application des
connaissances et la mise en œuvre.
Inscrivez-vous à :
https://health-evidence.webex.com/health-
evidence/onstage/g.php?MTID=e4a0468604363b8e349ce95b2277da0f6
Pleins feux sur les méthodes et les outils du CCNMO :
série de vidéos sur l’application des connaissances et
la mise en œuvre
Rejoignez-nous pour notre prochain webinaire.

Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMaster
Le développement de cette présentation a été rendu possible grâce à une contribution financière de l'Agence de la santé publique du
Canada. Les opinions exprimées ici ne représentent pas nécessairement celles de l’Agence de la santé publique du Canada.
Pour plus d’information sur le Centre de
collaboration nationale des méthodes et
outils (CCNMO)
Site du CCNMO : www.nccmt.ca/fr/
Courriel : nccmt@mcmaster.ca

Webinaire du CCNMO : MetaQAT

Recommandé

Recommandé

Contenu connexe

Similaire à Webinaire du CCNMO : MetaQAT

Similaire à Webinaire du CCNMO : MetaQAT (20)

Plus de The National Collaborating Centre for Methods and Tools

Plus de The National Collaborating Centre for Methods and Tools (20)

Webinaire du CCNMO : MetaQAT