Webinaire: ROBIS

Follow us @nccmt Suivez-nous @ccnmo
1
Présentateurs :
Penny Whiting, Ph. D., M. Sc., B.A.
Robert Wolff, M. D.
29 octobre 2018, 13 h à 14 h 30 (HAE)
Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMaster
Le développement de cette présentation a été rendue possible grâce à une contribution financière de l'Agence de la santé publique du
Canada. Les opinions exprimées ici ne représentent pas nécessairement celles de l’Agence de la santé publique du Canada.
ROBIS : un outil d’évaluation du risque de
biais dans les revues systématiques

2
Utilisez Chat pour partager vos questions
et commentaires pendant le webinaire.
• « Envoyez » les questions à tous (et
non en privé à l’animatrice)
Problèmes de connexion
• Connexion à Internet filée (et non
sans fil) recommandée
• Ligne d’aide WebEx offerte
24 heures sur 24, sept jours sur sept
• 1-866-229-3239
Gestion interne
Panneau latéral du
participant dans
WebEx
Chat

3
Après aujourd’hui
La présentation PowerPoint (en anglais et en
français) et l’enregistrement audio en anglais
seront offerts.
Ces ressources pourront être consultées à :
http://www.nccmt.ca/fr/perfectionnement-
professionnel/webinaires-precedents

4
Question no 1
Combien de personnes regardent la
séance d’aujourd’hui avec vous?
A. Il n’y a que moi
B. De 1 à 3
C. De 4 à 5
D. De 6 à 10
E. Plus de 10

5
ROBIS
http://www.nccmt.ca/fr/referentiels-de-
connaissances/interrogez-le-registre/315

CCN des
maladies
infectieusesWi
nnipeg, MB CCN des
méthodes et
outils
Hamilton, ON
CCN sur les
politiques
publiques et
la santé
Montréal, QC
CCN des
déterminants
de la santé
Antigonish, NS
CCN de la
santé
autochtone
Prince George, BC
CCN en santé
environnement
ale
Vancouver, BC
6

Registre des méthodes et
des outils
Possibilités
d’apprentissage en
ligne
AteliersMultimédia
Public Health+
Réseautage et
relations externes
Produits et services du CCNMO
7

8
Question no 2
Dans quelle mesure connaissez-vous la
méthode ou l'outil dont nous discutons
aujourd'hui?
A. Je ne connais pas la méthode ou l'outil
B. J'ai entendu parler de la méthode ou
l'outil
C. Je utilisé la méthode ou l'outil

9
Présentatrice
Penny Whiting, Ph. D., M. Sc., B.A.
Agrégée supérieure de recherche, Université de Bristol

Évaluer le risque de biais dans
une revue systématique à l’aide
de l’outil ROBIS
Penny Whiting

AMSTAR

Raisons qui expliquent la création de
ROBIS
Nous avions besoin d’un outil pour évaluer le
risque de biais dans les revues systématiques
Nous voulions une évaluation globale sommaire
du risque de biais dans les revues
systématiques
Nous voulions nous éloigner d’une liste de
vérification pour nous rapprocher d’une
approche par domaines, comme dans d’autres
outils d’évaluation de la qualité

Comité d’élaboration
Équipe de projet :
Penny Whiting, Rachel
Churchill, Jelena Savović,
Philippa Davies, Deborah
Caldwell
Comité directeur :
Julian Higgins, Jos Kleijnen, Toby
Lasserson, Beverley Shea, David Tovey,
George Wells, Barney Reeves
Participants aux rencontres face à face :
Patrick Bossuyt, Kay Dickersin, Kerry Dwan, Julie Glanville, Julia Kreis,
Silvia Minozzi, Carl Moons, Matthew Page, Nancy Santesso, Jasvinder
Singh, Peter Tugwell, Meera Viswanathan, Robert Wolff
Autres contributeurs :
Doug Altman, Lars Bechmann, Fergus Macbeth, Chris Schmid, Beth Shaw
Organisations : Cochrane; NIHR CLAHRC West; KSR; IQWiG; NICE; RTI;
universités : Bristol, Ottawa, Amsterdam, Johns Hopkins, Liverpool, York,
Utrecht, Monash, Alabama, Oxford, Brown

Approche adoptée pour la création de
ROBIS
Étape 1
• Définir la
portée
Étape 2
• Examiner la
base de
données
probantes
Étape 3
• Rencontre
face à face
Étape 4
• Mettre à
l’essai et
peaufiner

Étape 1 : définir la portée
Décisions initiales par le comité directeur
• Évaluer le risque de biais et l’applicabilité
• Définition du risque de biais
« Un biais survient si des erreurs ou des limites systématiques dans
la conception, la réalisation ou l’analyse d’une revue déforment les
résultats ou les conclusions de cette revue »
• Outil général :
o Efficacité, étiologie, diagnostic et pronostic
• Public cible :
o Concepteurs de lignes directrices, auteurs de survols et de revues

Étape 2 : examiner les données
probantes
1 : Classification des éléments MECIR
2 : Examen des outils existants en matière
d’évaluation de la qualité
3 : Examen des études ayant utilisé AMSTAR

1 : Codage MECIR
80 éléments MECIR ont été codés pour trouver
ceux qui concernent les biais
46 éléments liés aux sources de biais
• Éléments classés : sélection, recherche, processus
de révision, synthèse, conclusions
• Nous avons proposé des questions filtres pour
chaque élément de « biais »

2 : Examen des outils d’évaluation
de la qualité
40 outils d’évaluation de la qualité existaient déjà pour les
revues systématiques ou les méta-analyses
• 3 avaient été mis au point de façon rigoureuse
• La plupart étaient généraux; 5 ciblaient les essais cliniques
randomisés (ECR), 9 d’autres domaines
• Nombre d’éléments : 4 à 43 (médiane : 10)
• La plupart étaient de simples listes de vérification; 3 avaient
une structure plus complexe; 1 était un outil fondé sur des
domaines
• La plupart offraient les choix « oui/non », certains incluaient
« pas clair/pas de réponse »
• Éléments classés : sélection, recherche, processus de
révision, synthèse, conclusions

3 : Examen de l’utilisation
d’AMSTAR
80 survols avaient utilisé AMSTAR
• Ils étudiaient tous l’étiologie ou les interventions
• 57 revues incluaient des ECR, 32 incluaient des études
observationnelles, et certaines comprenaient aussi
d’autres modèles
• Nombre de RS : 1-369 (médiane : 16)
• 17 survols modifiaient AMSTAR
• Intégration d’AMSTAR : pour la plupart, seulement
narratif, critère d’inclusion (6); ne rendaient pas compte
des résultats (3), détails en tableaux seulement (3);
calculs statistiques (5)
• 60/80 assignaient des cotes de qualité sommaires.

• La liste initiale d’éléments ROBIS a été
élaborée à partir de recensions de données
probantes
• Données probantes résumées pour chaque
élément
Étape 2 : production

Étape 3 : rencontre face à face
• Colloque Cochrane à Québec (Canada)
• 21 participants
• Accord sur la portée
• Présentation des données probantes
• Petits groupes pour discuter des domaines
• Une première ébauche de l’outil ROBIS a été
produite après cette rencontre

Étape 4 : mettre à l’essai et
peaufiner
Processus Delphi modifié – 3 rondes
Maximum 29 participants
Mise à l’essai
• Atelier chez KSR
• Mise à l’essai dans des survols
• Questionnaire en ligne pour amasser des
commentaires structurés
Production de la version définitive

Outil ROBIS
Inclut trois phases :
(1) Évaluer la pertinence
(2) Identifier les préoccupations
relatives au processus de révision
(3) Évaluer le risque de biais dans
la revue

Phase 1 : évaluer la pertinence
Rendre compte de la « question cible »
Faire l’équivalent pour la RS évaluée
Les questions correspondent-elles?

Phase 2 : identifier les
préoccupations
Quatre domaines :
Les critères d’admissibilité des études
L’identification et la sélection des études
La collecte de données et l’évaluation des études
La synthèse et les résultats

Structure des domaines Aide pour
l’évaluation
Questions
filtres
Identifier la
préoccupation
Raison de la
préoccupation
Classement
des
questions
filtres

Domaine 1

Exemple d’évaluation

Domaine 2

Domaine 3

Domaine 4

Outil ROBIS : phase 3
Évaluer le risque de biais
• Même structure que les domaines de la phase 2
• Première question filtre :
o L’interprétation des résultats abordait-elle toutes les
préoccupations identifiées dans les domaines 1 à 4?
• Questions filtres additionnelles sur l’interprétation des
conclusions de la revue

Phase 3 : évaluer le risque de biais

Aperçu de ROBIS

Formats de présentation suggérés

Vous trouverez plus d’information
dans :
Whiting P, Savovic J, Higgins JP et al. ROBIS: A new tool to assess
risk of bias in systematic reviews was developed. J Clin Epidemiol.
2016;69;225-324
www.robis-tool.info

Présentateur
45
Robert Wolff, M. D.
Kleijnen Systematic Reviews Ltd

Conflits d’intérêts potentiels
46
1. Jos Kleijnen était membre du comité directeur de
ROBIS
2. J’ai participé à la rencontre face à face
3. J’ai participé à l’atelier de mise à l’essai
4. Ancienne collègue de Penny Whiting, collaboration
sur des projets (p. ex., PROBAST)

Kleijnen Systematic Reviews Ltd
47
 Firme indépendante de recherche basée à York (R.-U.)
• 28 employés à York, >10 travailleurs autonomes à travers le
monde
 Grande diversité de secteurs
• Prise de décision au sujet des évaluations des technologies
de la santé et des remboursements
• Lignes directrices
• Aides à la décision
• Consultation
• Travail méthodologique
• KSR Evidence (ksrevidence.com)
• Base de données de revues systématiques
mapsofuk.co.uk

Utiliser ROBIS
48
 Trois types de projets
• Lignes directrices – Évaluation du risque de biais et de
la pertinence
• Aides à la décision – Évaluation du risque de biais et
de la pertinence
• KSR Evidence – Évaluation du risque de biais
 Environ 200 évaluations réalisées

Expérience d’utilisation de ROBIS
49
 Facilité d’utilisation
• Document d’orientation utile contenant des exemples
• Relativement facile à utiliser
• Il est utile de connaître les outils d’évaluation du risque
de biais fondés sur des domaines (PROBAST,
QUADAS, ROB 2.0, ROBINS-I)
• Semble fonctionner avec divers types de revues, y
compris celles qui concernent les interventions, les
diagnostics, les pronostic/prédictions et l’étiologie
• Il faut plus de connaissances pour les RS « non
standard »

Utiliser ROBIS – un exemple
50
KSR Evidence avec
7 700 résumés de
RS. L’évaluation
ROBIS fait partie
intégrante du résumé
des RS.
ksrevidence.com

Utiliser ROBIS – un exemple (2)
51
ksrevidence.com
Évaluation ROBIS
détaillée après le
résumé des
résultats

Problèmes courants
52
Certaines RS sont catégorisées comme ayant un
risque élevé de biais dans le D2 pour des
raisons évitables, comme le fait de ne pas
présenter une stratégie de recherche
complète; des problèmes dans le rapport
(p. ex., présenter un hébergeur, Ovid, comme
étant une base de données); des limites de
recherche inutiles (p. ex., documents en anglais
ou documents publiés seulement); ou des
stratégies de recherche imparfaites, qui
pourraient être améliorées avec un peu
d’attention. De meilleurs rapports et une
recherche rigoureuse assurent la reproductibilité
et augmentent la valeur des études. Nous croyons
que les lacunes dans le D2 minent la qualité
globale des RS, contribuent à des recherches
inutiles et peuvent, en fin de compte, avoir des
répercussions sur la prise de décision clinique.
Présenté au congrès de l’European Association for Health Information and
Libraries (EAHIL); 9-13 juillet 2018; Cardiff, pays de Galles. 2018.

Expérience d’utilisation de ROBIS (2)
53
 Problèmes concernant les rapports sur les RS évaluées
• Les RS devraient se conformer à PRISMA
• Cependant, les limites d’espace peuvent nuire aux rapports
• Concerne tous les domaines, p. ex. double tri en vue de l’inclusion
• Atténué en partie par le système de réponses « oui/probablement
oui/probablement non/non/aucun renseignement ».
 Autres problèmes
• Restrictions de langue dans les domaines 1 et 2. Pas de double
comptage (le document d’orientation l’explique, mais c’est un
problème fréquent)
• Évaluer le domaine d’analyse, p. ex. la solidité des résultats

Expérience d’utilisation de ROBIS (3)
54
 Temps requis pour utiliser ROBIS
• Selon mon expérience, environ 10-15 minutes de plus
que la récupération des données
• Dépend du sujet

55
Vos commentaires ou
questions
• Utilisez Chat pour partager vos
questions et commentaires.
• « Envoyez » les questions à
tous (et non en privé à
l’animatrice)
Panneau latéral du
participant dans
WebEx
Chat

56
Question no 3
Pourrait cette méthode ou outil être utile
dans la pratique?
A. Énormément
B. Quelque peu
C. Pas du tout
D. Je l’ignore

57
Veuillez prendre quelques minutes pour partager
vos idées sur le webinaire d’aujourd’hui.
Vos commentaires et vos suggestions permettent
d’améliorer les ressources que nous offrons et de
planifier d’autres webinaires.
Le sondage court se trouve à l’adresse :
https://surveys.mcmaster.ca/limesurvey/index.php/
973489?lang=en
Votre rétroaction est importante

58
Question no 4
Quelles étapes suivrez-vous ensuite?
(Cochez toutes celles qui s’appliquent.)
A. Accéder la méthode ou l’outil dont il est question
dans l’exposé.
B. Lire le sommaire du CCNMO sur la méthode ou
l’outil décrit aujourd’hui.
C. Songer à mettre en pratique la méthode ou l’outil.
D. Parler de la méthode ou de l’outil à un collègue.

Partagez votre histoire!
• Utilisez-vous la PDFDP dans vos pratiques?
Nous voulons vous entendre!
• Écrivez-nous : ccnmo@mcmaster.ca
• Avez-vous besoin d’aide relativement à la
PDFDP? Demandez-nous du soutien!
• Écrivez-nous : ccnmo@mcmaster.ca
• Nous répondons habituellement en moins de
24 heures ouvrables.
59

Série de webinaires du CCNMO
http://www.nccmt.ca/fr/perfectionnement-
professionnel/serie-de-webinaires
• Pleins feux sur les méthodes et outils
• Méthodes et outils thématiques
• Club de lecture en ligne
• Webinaire entre pairs
60

Funded by the Public Health Agency of Canada | Affiliated with McMaster University
Production of this presentation has been made possible through a financial contribution from the Public Health Agency of Canada. The
views expressed here do not necessarily reflect the views of the Public Health Agency of Canada..
Pour plus d'information sur le Centre de
collaboration nationale des méthodes et
outils (CCNMO)
Site du CCNMO : www.nccmt.ca/fr/
Courriel : nccmt@mcmaster.ca
Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMaster
Le développement de cette présentation a été rendue possible grâce à une contribution financière de l'Agence de la santé publique du
Canada. Les opinions exprimées ici ne représentent pas nécessairement celles de l’Agence de la santé publique du Canada.

Webinaire: ROBIS

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Webinaire: ROBIS

Similaire à Webinaire: ROBIS (20)

Plus de The National Collaborating Centre for Methods and Tools

Plus de The National Collaborating Centre for Methods and Tools (20)

Dernier

Dernier (18)

Webinaire: ROBIS

Notes de l'éditeur