SlideShare une entreprise Scribd logo
1  sur  50
GRADE in der Erstellung von Leitlinien und  HTA-Berichten HTA-online „ Berlin“ 19. November 2009 Dr. med. Monika Lelgemann, MSc HTA-Zentrum, Universität Bremen
[object Object],[object Object],[object Object],[object Object],Was sollte vorkommen:
Ursprung oder wie alles anfing….. Canadian Medical Association Journal 2003; 169: 677-680 The Grading of Recommendations Assessment, Development and Evaluation (short GRADE) Working Group
Symbolik für Qualität der Evidenz und Empfehlungsgrad…..
[object Object],[object Object],[object Object],[object Object],Definitionen
Klassifikation auch rechtliche Legitimation im Sinne des medizinischen Standards Leitlinienprogramm
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],n. Field und Lohr. IOM 1990 Leitlinien    Leitlinie
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],EbM / Prinzipien 5 Schritte Schema
Die ausgesprochenen Empfehlungen resultieren bei einer „evidenzbasierten Leitlinie“ mit größerer Wahrscheinlichkeit in einem tatsächlichen Nutzen  (pos. Beeinflussung eines patientenrelevanten Endpunktes) Empfehlungen sind das Charakteristikum von Leitlinien Interventionen werden empfohlen; diagnostische und therapeutische Empfehlungen sind nur sinnvoll, wenn es um zu empfehlende „Maßnahmen“ geht (handlungsleitend) Evidenz  Empfehlung Voraussetzungen / Annahmen
Konsens über die Empfehlungen unterschiedet Leitlinien von Evidenzanalysen bzw. Evidenzdarlegungen Konsens ist der „Brückenschlag“ zwischen der Welt der Evidenz und der realen Welt der Patientenversorgung  Evidenzlücken Anwendbarkeit Relevanz Leitlinienautoren wollen auch dann Empfehlungen geben, wenn Evidenz der höchsten Stufe nicht vorhanden ist Evidenz  Empfehlung Voraussetzungen / Annahmen
Evidenz  Empfehlung  Interdisziplinare S3-Leitlinie fur die Diagnostik, Therapie und Nachsorge des Mammakarzinoms. 2008
Prophylaxe der venösen Thromboembolie (VTE) / S3 LL AWMF; Stand März 2009 Evidenz  Empfehlung  Sollen und   Sollte und  
Wie können wir zu einer klinisch relevanten Frage das vorhandene Wissen transparent und explizit darlegen und das Ausmaß der (Un-) Sicherheit ausdrücken, dass das Umsetzen einer Empfehlung (Anwenden oder Vermeiden einer Intervention) in größerem Nutzen als Schaden resultiert? GRADE - Aufgabe
Themenauswahl (Versorgungsproblem)  Definition der Ziele  Zusammenstellung der Leitlinien-Gruppe  Formulierung von Schlüsselfragen  Systematische Literatursuche  Kritische Bewertung der Literatur  Formulierung graduierter Empfehlungen    Konsultation und externe Begutachtung  Präsentation und Disseminierung  Implementierung  Wartung, Evaluation und Überarbeitung formalisiertes Konsensverfahren formalisiertes Konsensverfahren
[object Object],[object Object],Kernelemente von GRADE
Gewichtung der Endpunkte  1 2 3 6 5 4 7 8 9 entscheidender Endpunkt für Formulierung der Empfehlung / Risiko-Nutzen Abwägung  (critical) leitend für „Qualität der Evidenz gesamt“, auf welcher Empfehlung beruht relevanter Endpunkt, aber nachrangig für  Formulierung der Empfehlung / Risiko-Nutzen Abwägung  (important) unerheblicher / irrelevanter Endpunkt, sollte in GRADE Profil nicht aufgenommen werden
Oseltamivir / Vogelgrippe; Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31  Gewichtung der Endpunkte  5 mitel Dauer der Erkrankung 8 wichtig LRTI 7 wichtig Dauer KH-Aufenthalt 6 mittel Hospitalisierung 9 wichtig Mortalität
GRADE  Evidence Profile
GRADE  Overview of Reviews
[object Object],[object Object],[object Object],Kernelemente von GRADE
            hohe Qualität Es ist unwahrscheinlich, dass weitere Forschung in diesem Bereich unser Vertrauen in den geschätzten Effekt ändern wird.           mittlere Qualität Es ist wahrscheinlich, dass unser Vertrauen in den geschätzten Effekt durch weitere Forschung erheblich beeinflusst wird und sich der geschätzte Effekt dadurch ändern kann.       niedrige Qualität Es ist sehr wahrscheinlich, dass unser Vertrauen in den geschätzten Effekt durch weitere Forschung erheblich beeinflusst und sich der geschätzte Effekt dadurch wahrscheinlich ändern wird.    sehr niedrige Qualität Jede Effektschätzung ist sehr unsicher. Bedeutung der Evidenzklassifizierung
[object Object],[object Object],[object Object],[object Object],GRADE dient nicht der Qualitätsbeurteilung einzelner Studien sondern eines „body of evidence“ Kernelemente von GRADE
Leitlinienempfehlungen beinhalten die Empfehlung einer Maßnahme ( Intervention) Bei Anwendung des Prinzips der Evidenzbasierten Medizin gilt  damit  das Primat des RCTs Kein „ roter Strich“ bei GRADE Bias Beweis Systematischer Review (Metaanalyse) auf der Basis vergleichender, randomisierter Studien (RCT) Vergleichende Studien mit Randomisierung (RCT) Vergleichende Studien ohne Randomisierung Nicht experimentelle, deskriptive Studien (z.B. Vergleichsstudien, Korrelationsstudien, Fall-Kontroll-Studien) Meinungen und Berichte von Expertenkommissionen, Konsensuskonferenzen, Fallberichte etc….
Grading  the Quality of Evidence
Konkretes Vorgehen / Bewertung der Qualität der Evidenz Sonstige Evidenz oder…. Sehr niedrig   Beobachtungs-Studie oder  abgewertete RCTs Niedrig   abgewertete RCTs  oder aufgewertete Beobachtungs-studien Mittel   Effekte  groß……. +1 sehr groß...........  +2 Dosis-Wirkungsbeziehung Nachweis einer Dosis-  Wirkungsbeziehung....  +1 Confounder würden plausible Confounder Effekt verkleinert haben…….+1 oder würden für den Fall, dass kein Effekt nachgewiesen, fälschlicherweise einen Effekt suggeriert haben…..+1 Mängel in der Studienmethodik Schwerwiegend…………-1 sehr schwerwiegend……-2 Heterogene Ergebnisse (inconsistency) Schwerwiegend………..-1 sehr schwerwiegend…...-2 Indirekte Evidenz Schwerwiegend……-1 sehr schwerwiegend…..-2 Fehlende Präzision Schwerwiegend…….-1 sehr schwerwiegend…….-2 Reporting Bias wahrscheinlich……..-1 sehr wahrscheinlich…..-2 RCT Hoch   Heraufstufen falls… Herabstufen falls… Studiendesign Qualität der Evidenz
Konkretes Vorgehen /  Abwertung  der Qualität der Evidenz ,[object Object],[object Object],[object Object],[object Object]
Ergebnissicherheit /  „durchführungsbedingt“  Risk of Bias
Ergebnissicherheit /  „durchführungsbedingt“  Risk of Bias (Studienebene)
Ergebnissicherheit /  „durchführungsbedingt“  Risk of Bias  (Endpunktebene)
Konkretes Vorgehen /  Abwertung  der Qualität der Evidenz ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Konkretes Vorgehen /  Aufwertung  der Qualität der Evidenz ,[object Object],[object Object],[object Object],[object Object],[object Object]
[object Object],[object Object],[object Object],[object Object],[object Object],Kernelemente von GRADE
GRADE  Evidence Profile
GRADE  Summary of Findings
Evidenzbericht zur S3 LL Brustkrebsfrüherkennung  NNS ca. 2500 (über 10 Jahre alle 2 Jahre eingeladen)  Elemente von Grade in HTA Bsp. /  Versuch einer Nutzen-Schaden Bilanz  Mammographiescreening 40-49 Jahre
Evidenzprofil für Beobachtungsstudien ,[object Object]
Einflussfaktoren auf die Stärke der Empfehlung
stark     oder   schwach    oder    gewünschte Effekte überwiegen eindeutig die  unerwünschten  annähernd gleiches „Gewicht“ der erwünschten  und unerwünschten Effekte - Balance Einflussfaktoren auf die Stärke der Empfehlung
Achtung Festlegung über Qualität der Gesamtevidenz erforderlich!!! across outcomes Einflussfaktoren auf die Stärke der Empfehlung
Einflussfaktoren auf die Stärke der Empfehlung ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Evidenzprofil  Oseltamivir zur Therapie der Vogelgrippe Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31  Qualitätsbeurteilung Effektstärke Zusammen-fassung Qualität Relevanz der Endpunkte
Relevanz der Endpunkte Abstimmung per Delphi Verfahren Oseltamivir / Vogelgrippe; Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31  5 mitel Dauer der Erkrankung 8 wichtig LRTI 7 wichtig Dauer KH-Aufenthalt 6 mittel Hospitalisierung 9 wichtig Mortalität
Qualitätsbeurteilung       
Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess
Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess
Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess
Elemente von Grade in HTA Bsp. /  LBI HTA 2008: Minimal invasiver Aortenklappenersatz
Elemente von Grade in HTA Bsp. /  LBI HTA 2008: Rheopherese bei AMD und anderen Indikationen
Elemente von Grade in HTA Bsp. /  LBI HTA 2008: Rheopherese bei AMD und anderen Indikationen
1. Guyatt GH, Oxman AD, Kunz R, Jaeschke R, Helfand M, Liberati A, Vist GE, Schunemann HJ. Incorporating considerations of resources use into grading recommendations.  BMJ 2008;336(7654):1170-3. 2. Schunemann HJ, Oxman AD, Brozek J, Glasziou P, Jaeschke R, Vist GE, Williams JW, Jr., Kunz R, Craig J, Montori VM, Bossuyt P, Guyatt GH.  Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ 2008;336(7653):1106-10. 3. Guyatt GH, Oxman AD, Kunz R, Falck-Ytter Y, Vist GE, Liberati A, Schunemann HJ.  Going from evidence to recommendations. BMJ 2008;336(7652):1049-51. 4. Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schunemann HJ. What is "quality of evidence" and why is it important to clinicians? BMJ 2008;336(7651):995-8. 5. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, onso-Coello P, Schunemann HJ. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 2008;336(7650):924-6. 6. Atkins D, Best D, Briss PA, Eccles M, Falck-Ytter Y, Flottorp S, Guyatt GH, Harbour RT, Haugh MC, Henry D, Hill S, Jaeschke R, Leng G, Liberati A, Magrini N, Mason J, Middleton P, Mrukowicz J, O'Connell D, Oxman AD, Phillips B, Schunemann HJ, Edejer TT, Varonen H, Vist GE, Williams JW, Jr., Zaza S.  Grading quality of evidence and strength of recommendations. BMJ 2004;328(7454):1490.

Contenu connexe

En vedette

El cuercospin mimoso
El cuercospin mimoso El cuercospin mimoso
El cuercospin mimoso
martiinsuarez
 
Hta Online Grade EinfüHrg Final
Hta Online Grade EinfüHrg FinalHta Online Grade EinfüHrg Final
Hta Online Grade EinfüHrg Final
choffmann
 
Red de Comunicadores de Aysén
Red de Comunicadores de AysénRed de Comunicadores de Aysén
Red de Comunicadores de Aysén
ARSChile
 
Evaluación de la Unidad 3
Evaluación de la Unidad 3Evaluación de la Unidad 3
Evaluación de la Unidad 3
susanabiebs
 

En vedette (20)

Medienkompetenz in Bewegung
Medienkompetenz in BewegungMedienkompetenz in Bewegung
Medienkompetenz in Bewegung
 
JavaSPEKTRUM - Scala 3
JavaSPEKTRUM - Scala 3JavaSPEKTRUM - Scala 3
JavaSPEKTRUM - Scala 3
 
El cuercospin mimoso
El cuercospin mimoso El cuercospin mimoso
El cuercospin mimoso
 
EL diario
EL diarioEL diario
EL diario
 
EL CHAT
EL CHATEL CHAT
EL CHAT
 
Netparty 2008
Netparty 2008Netparty 2008
Netparty 2008
 
Mar ti n suarez & lucho santos .
Mar ti n suarez & lucho santos .Mar ti n suarez & lucho santos .
Mar ti n suarez & lucho santos .
 
Hta Online Grade EinfüHrg Final
Hta Online Grade EinfüHrg FinalHta Online Grade EinfüHrg Final
Hta Online Grade EinfüHrg Final
 
Calendário sexy de 2009
Calendário sexy de 2009Calendário sexy de 2009
Calendário sexy de 2009
 
Hydraulikzylinder-Service von SKF Economos Deutschland GmbH
Hydraulikzylinder-Service von SKF Economos Deutschland GmbHHydraulikzylinder-Service von SKF Economos Deutschland GmbH
Hydraulikzylinder-Service von SKF Economos Deutschland GmbH
 
Marco teorico
Marco teoricoMarco teorico
Marco teorico
 
Red de Comunicadores de Aysén
Red de Comunicadores de AysénRed de Comunicadores de Aysén
Red de Comunicadores de Aysén
 
Jugendmedienschutz-Staatsvertrag und die Jugendarbeit
Jugendmedienschutz-Staatsvertrag und die JugendarbeitJugendmedienschutz-Staatsvertrag und die Jugendarbeit
Jugendmedienschutz-Staatsvertrag und die Jugendarbeit
 
William shakespeare
William shakespeareWilliam shakespeare
William shakespeare
 
Practica 8
Practica 8Practica 8
Practica 8
 
Evaluación de la Unidad 3
Evaluación de la Unidad 3Evaluación de la Unidad 3
Evaluación de la Unidad 3
 
Ernesto
ErnestoErnesto
Ernesto
 
Social Media treibt uns
Social Media treibt unsSocial Media treibt uns
Social Media treibt uns
 
Escrito final de investigacion
Escrito final de investigacionEscrito final de investigacion
Escrito final de investigacion
 
Milieu & Web 2.0
Milieu & Web 2.0Milieu & Web 2.0
Milieu & Web 2.0
 

Hta Online Grade EinfüHrg Final

  • 1. GRADE in der Erstellung von Leitlinien und HTA-Berichten HTA-online „ Berlin“ 19. November 2009 Dr. med. Monika Lelgemann, MSc HTA-Zentrum, Universität Bremen
  • 2.
  • 3. Ursprung oder wie alles anfing….. Canadian Medical Association Journal 2003; 169: 677-680 The Grading of Recommendations Assessment, Development and Evaluation (short GRADE) Working Group
  • 4. Symbolik für Qualität der Evidenz und Empfehlungsgrad…..
  • 5.
  • 6. Klassifikation auch rechtliche Legitimation im Sinne des medizinischen Standards Leitlinienprogramm
  • 7.
  • 8.
  • 9. Die ausgesprochenen Empfehlungen resultieren bei einer „evidenzbasierten Leitlinie“ mit größerer Wahrscheinlichkeit in einem tatsächlichen Nutzen (pos. Beeinflussung eines patientenrelevanten Endpunktes) Empfehlungen sind das Charakteristikum von Leitlinien Interventionen werden empfohlen; diagnostische und therapeutische Empfehlungen sind nur sinnvoll, wenn es um zu empfehlende „Maßnahmen“ geht (handlungsleitend) Evidenz  Empfehlung Voraussetzungen / Annahmen
  • 10. Konsens über die Empfehlungen unterschiedet Leitlinien von Evidenzanalysen bzw. Evidenzdarlegungen Konsens ist der „Brückenschlag“ zwischen der Welt der Evidenz und der realen Welt der Patientenversorgung  Evidenzlücken Anwendbarkeit Relevanz Leitlinienautoren wollen auch dann Empfehlungen geben, wenn Evidenz der höchsten Stufe nicht vorhanden ist Evidenz  Empfehlung Voraussetzungen / Annahmen
  • 11. Evidenz  Empfehlung Interdisziplinare S3-Leitlinie fur die Diagnostik, Therapie und Nachsorge des Mammakarzinoms. 2008
  • 12. Prophylaxe der venösen Thromboembolie (VTE) / S3 LL AWMF; Stand März 2009 Evidenz  Empfehlung Sollen und  Sollte und 
  • 13. Wie können wir zu einer klinisch relevanten Frage das vorhandene Wissen transparent und explizit darlegen und das Ausmaß der (Un-) Sicherheit ausdrücken, dass das Umsetzen einer Empfehlung (Anwenden oder Vermeiden einer Intervention) in größerem Nutzen als Schaden resultiert? GRADE - Aufgabe
  • 14. Themenauswahl (Versorgungsproblem)  Definition der Ziele  Zusammenstellung der Leitlinien-Gruppe  Formulierung von Schlüsselfragen  Systematische Literatursuche  Kritische Bewertung der Literatur  Formulierung graduierter Empfehlungen  Konsultation und externe Begutachtung  Präsentation und Disseminierung  Implementierung  Wartung, Evaluation und Überarbeitung formalisiertes Konsensverfahren formalisiertes Konsensverfahren
  • 15.
  • 16. Gewichtung der Endpunkte 1 2 3 6 5 4 7 8 9 entscheidender Endpunkt für Formulierung der Empfehlung / Risiko-Nutzen Abwägung (critical) leitend für „Qualität der Evidenz gesamt“, auf welcher Empfehlung beruht relevanter Endpunkt, aber nachrangig für Formulierung der Empfehlung / Risiko-Nutzen Abwägung (important) unerheblicher / irrelevanter Endpunkt, sollte in GRADE Profil nicht aufgenommen werden
  • 17. Oseltamivir / Vogelgrippe; Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31 Gewichtung der Endpunkte 5 mitel Dauer der Erkrankung 8 wichtig LRTI 7 wichtig Dauer KH-Aufenthalt 6 mittel Hospitalisierung 9 wichtig Mortalität
  • 18. GRADE Evidence Profile
  • 19. GRADE Overview of Reviews
  • 20.
  • 21.    hohe Qualität Es ist unwahrscheinlich, dass weitere Forschung in diesem Bereich unser Vertrauen in den geschätzten Effekt ändern wird.    mittlere Qualität Es ist wahrscheinlich, dass unser Vertrauen in den geschätzten Effekt durch weitere Forschung erheblich beeinflusst wird und sich der geschätzte Effekt dadurch ändern kann.   niedrige Qualität Es ist sehr wahrscheinlich, dass unser Vertrauen in den geschätzten Effekt durch weitere Forschung erheblich beeinflusst und sich der geschätzte Effekt dadurch wahrscheinlich ändern wird.  sehr niedrige Qualität Jede Effektschätzung ist sehr unsicher. Bedeutung der Evidenzklassifizierung
  • 22.
  • 23. Leitlinienempfehlungen beinhalten die Empfehlung einer Maßnahme ( Intervention) Bei Anwendung des Prinzips der Evidenzbasierten Medizin gilt damit das Primat des RCTs Kein „ roter Strich“ bei GRADE Bias Beweis Systematischer Review (Metaanalyse) auf der Basis vergleichender, randomisierter Studien (RCT) Vergleichende Studien mit Randomisierung (RCT) Vergleichende Studien ohne Randomisierung Nicht experimentelle, deskriptive Studien (z.B. Vergleichsstudien, Korrelationsstudien, Fall-Kontroll-Studien) Meinungen und Berichte von Expertenkommissionen, Konsensuskonferenzen, Fallberichte etc….
  • 24. Grading the Quality of Evidence
  • 25. Konkretes Vorgehen / Bewertung der Qualität der Evidenz Sonstige Evidenz oder…. Sehr niedrig  Beobachtungs-Studie oder abgewertete RCTs Niedrig  abgewertete RCTs oder aufgewertete Beobachtungs-studien Mittel  Effekte groß……. +1 sehr groß........... +2 Dosis-Wirkungsbeziehung Nachweis einer Dosis- Wirkungsbeziehung.... +1 Confounder würden plausible Confounder Effekt verkleinert haben…….+1 oder würden für den Fall, dass kein Effekt nachgewiesen, fälschlicherweise einen Effekt suggeriert haben…..+1 Mängel in der Studienmethodik Schwerwiegend…………-1 sehr schwerwiegend……-2 Heterogene Ergebnisse (inconsistency) Schwerwiegend………..-1 sehr schwerwiegend…...-2 Indirekte Evidenz Schwerwiegend……-1 sehr schwerwiegend…..-2 Fehlende Präzision Schwerwiegend…….-1 sehr schwerwiegend…….-2 Reporting Bias wahrscheinlich……..-1 sehr wahrscheinlich…..-2 RCT Hoch  Heraufstufen falls… Herabstufen falls… Studiendesign Qualität der Evidenz
  • 26.
  • 27. Ergebnissicherheit / „durchführungsbedingt“ Risk of Bias
  • 28. Ergebnissicherheit / „durchführungsbedingt“ Risk of Bias (Studienebene)
  • 29. Ergebnissicherheit / „durchführungsbedingt“ Risk of Bias (Endpunktebene)
  • 30.
  • 31.
  • 32.
  • 33. GRADE Evidence Profile
  • 34. GRADE Summary of Findings
  • 35. Evidenzbericht zur S3 LL Brustkrebsfrüherkennung NNS ca. 2500 (über 10 Jahre alle 2 Jahre eingeladen) Elemente von Grade in HTA Bsp. / Versuch einer Nutzen-Schaden Bilanz Mammographiescreening 40-49 Jahre
  • 36.
  • 37. Einflussfaktoren auf die Stärke der Empfehlung
  • 38. stark  oder  schwach  oder   gewünschte Effekte überwiegen eindeutig die unerwünschten  annähernd gleiches „Gewicht“ der erwünschten und unerwünschten Effekte - Balance Einflussfaktoren auf die Stärke der Empfehlung
  • 39. Achtung Festlegung über Qualität der Gesamtevidenz erforderlich!!! across outcomes Einflussfaktoren auf die Stärke der Empfehlung
  • 40.
  • 41. Evidenzprofil Oseltamivir zur Therapie der Vogelgrippe Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31 Qualitätsbeurteilung Effektstärke Zusammen-fassung Qualität Relevanz der Endpunkte
  • 42. Relevanz der Endpunkte Abstimmung per Delphi Verfahren Oseltamivir / Vogelgrippe; Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31 5 mitel Dauer der Erkrankung 8 wichtig LRTI 7 wichtig Dauer KH-Aufenthalt 6 mittel Hospitalisierung 9 wichtig Mortalität
  • 44. Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess
  • 45. Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess
  • 46. Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess
  • 47. Elemente von Grade in HTA Bsp. / LBI HTA 2008: Minimal invasiver Aortenklappenersatz
  • 48. Elemente von Grade in HTA Bsp. / LBI HTA 2008: Rheopherese bei AMD und anderen Indikationen
  • 49. Elemente von Grade in HTA Bsp. / LBI HTA 2008: Rheopherese bei AMD und anderen Indikationen
  • 50. 1. Guyatt GH, Oxman AD, Kunz R, Jaeschke R, Helfand M, Liberati A, Vist GE, Schunemann HJ. Incorporating considerations of resources use into grading recommendations. BMJ 2008;336(7654):1170-3. 2. Schunemann HJ, Oxman AD, Brozek J, Glasziou P, Jaeschke R, Vist GE, Williams JW, Jr., Kunz R, Craig J, Montori VM, Bossuyt P, Guyatt GH. Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ 2008;336(7653):1106-10. 3. Guyatt GH, Oxman AD, Kunz R, Falck-Ytter Y, Vist GE, Liberati A, Schunemann HJ. Going from evidence to recommendations. BMJ 2008;336(7652):1049-51. 4. Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schunemann HJ. What is "quality of evidence" and why is it important to clinicians? BMJ 2008;336(7651):995-8. 5. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, onso-Coello P, Schunemann HJ. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 2008;336(7650):924-6. 6. Atkins D, Best D, Briss PA, Eccles M, Falck-Ytter Y, Flottorp S, Guyatt GH, Harbour RT, Haugh MC, Henry D, Hill S, Jaeschke R, Leng G, Liberati A, Magrini N, Mason J, Middleton P, Mrukowicz J, O'Connell D, Oxman AD, Phillips B, Schunemann HJ, Edejer TT, Varonen H, Vist GE, Williams JW, Jr., Zaza S. Grading quality of evidence and strength of recommendations. BMJ 2004;328(7454):1490.