Justification des principes de base de la méta-analyse

1. Les problématiques liées à la multiplicité des résultats Michel Cucherat TrialResults-center.org

2. Multiplicité des résultats En général plusieurs essais ont été réalisés pour répondre à une même question thérapeutique Résultats variables voir contradictoires Nécessité d’une interprétation globale Pour éviter une sélection des arguments La réalisation d’une synthèse optimale pose un certain nombre de problèmes La méta-analyse a été développée pour apporter une réponse satisfaisante à chacune de ces difficultés

3. Problèmes liés à la synthèse de l'information Existence d'un risque d'erreur statistique au niveau des essais Sélection des essais Pollution par les études biaisées Conséquence de la non publication de certains travaux Sens d'un résultat global, agrégatif

4. Exemple

5. Résultats concluants - non concluants Essais concluants différence significative en faveur de l'effet du traitement mais risque alpha (conclure à tort à l’efficacité) Essais non concluants différence non significative ne donnent pas d'argument en faveur de l'effet du traitement deux origines Réelle absence d’effet du traitement manque de puissance (risque beta)

6. Au total ? Résultats apparemment discordants 1 résultats significatifs 5 résultats non significatifs Il est possible de faire deux conclusions opposées au total, ces résultats sont en faveur de l'efficacité du traitement au total, ces résultats ne sont pas en faveur de l'efficacité du traitement

7. Conclusion en faveur de l'efficacité S'appuie sur les résultats significatifs un seul, mais essai parmi les deux plus grands Les résultats non significatifs sont expliqués par un manque de puissance car ce sont des essais plus petits (mais essai n°3, le plus grand non significatif )

8. Conclusion en défaveur de l'efficacité La majorité des essais sont non significatifs Un seul essai est significatif rejeté en argumentant le risque alpha Et en plus inflation du risque alpha (6 test au total) Non prise en compte du manque de puissance des essais non significatifs

9. Les résultats apparemment discordants sont de règle Quelle est la probabilité d'obtenir un second essai significatif après un premier essai ayant obtenu p=0.049 et ayant estimé parfaitement le vrai effet du traitement 50%

10. Réplication d’un essai H1 H0 Effet Limite de rejet de H0

11. conclusion On ne peut pas interpréter globalement un ensemble de p-value En raison des risques statistiques alpha et beta Et de la puissance variable des essais Il faut trouver autre chose La taille d’effet (risque relatif pe) est à l’abris des risques statistiques

12. Solution ... La taille de l'effet est plus informatif que la conclusion binaire significatif / non significatif

13. Solution - 1 Existence de risques d'erreur statistiques alpha et beta au niveau des résultats des essais Calcul d'un effet traitement commun à partir des données de chaque essai

14. Problèmes liés à la synthèse de l'information Existence d'un risque d'erreur statistique au niveau des essais Sélection des essais Pollution par les études biaisées Conséquence de la non publication de certains travaux Sens d'un résultat global, agrégatif

15. Synthèse de résultats d'essais thérapeutiques Revue de la littérature pas de méthode, subjectif correspond parfois à une simple opinion argumentée discursif

16. Fréquence de citation en fonction des résultats Hypocholestérolémiants, Ravnskov, BMJ 1992 Nombre de citations par an résultats favorable (n=14) 40 résultats non favorables (n=10) 7.4 résultats favorable dans une grande revue (n=8) 61

17. Fréquence de citation en fonction des résultats (2) 2 essais publié dans le JAMA Fréquence de citation dans les années suivant la publication 1er 2ème 3éme 4éme LRC, favorable 109 121 202 180 Miettinen, non favorable 6 5 3

18. Solution - 2 Sélection arbitraire des essais en fonction de leurs résultats Prise en compte de tous les essais quelle que soit la nature de leur résultat

19. Problèmes liés à la synthèse de l'information Existence d'un risque d'erreur statistique au niveau des essais Sélection des essais Pollution par les études biaisées Conséquence de la non publication de certains travaux Sens d'un résultat global, agrégatif

20. MA = GIGO méta-analyse biaisée essais biaisés

21. GIGO conséquence 1 La méta-analyse n'est pas une méthode magique elle n'améliore pas la qualité des études qu'elle regroupe p.e. : La méta-analyse d'études d'observation a la valeur des études d'observation

22. Exemple : bêta-carotène et mortalité cardiovasculaire

23. GIGO - conséquence 2 Une ou des études biaisées biaisent le résultat de la méta-analyse Effet tampon de la MA: résultat de la MA moins biaisé que celui des essais biaisés détection par les outils de recherche de l'hétérogénéité Décision prise en fonction de la MA est moins erronée que celle prise uniquement en fonction de/des essais biaisés

24. Solution - 3 La prise en compte d'essais biaisés qui faussent le résultat de la synthèse Sélection des essais dont la qualité méthodologique garantit suffisamment l'absence de biais

25. Critère méthodologique de sélection des essais non biaisés

26. Problèmes liés à la synthèse de l'information Existence d'un risque d'erreur statistique au niveau des essais Sélection des essais Pollution par les études biaisées Conséquence de la non publication de certains travaux Sens d'un résultat global, agrégatif

27. Biais de publication Les essais positifs sont plus facilement publiés que les négatifs Différence significative Différencenon-significative Publication

28. Biais de publication Un essai peut être positif à tort (risque alpha) Exemple d'un traitement sans efficacité Risque alpha = 5% Essais réalisés Essais publiés E. positifs 5 5 E. négatifs 95 0 Méta-analyse positive Méta-analyse négative !

29. Biais de publication (2) Influence de la significativité des résultats sur la publication Easterbrook et al., Lancet 1991 285 études soumises au comité d'éthique d'Oxford

30. Biais de publicationévaluation Évaluation de l'influence de la signification des résultats sur l'acceptation d'un manuscrit

31. Solution - 4 Biais de publication lié à la non publication des résultats négatifs Recherche exhaustive des essais publiées et non publiés

32. Problèmes liés à la synthèse de l'information Existence d'un risque d'erreur statistique au niveau des essais Sélection des essais Pollution par les études biaisées Conséquence de la non publication de certains travaux Sens d'un résultat global, agrégatif

33. Difficultés Danger = regrouper des informations différentes patients différents traitements différents des critères différents des essais de qualité différente mélanger des pommes et des oranges La synthèse de l’information a-t-elle un sens ? Solution : question précise

34. Opposition pragmatique - explicatif Pragmatique Explicatif Critères larges Critères précis Effet de la baisse ducholestérol Effet des statines

35. Solution - 5 Sens d'un résultat global Formulation précise d'une question cliniquement pertinente

36. Solutions apportées par la MA Synthèse répondant à une question précise Exhaustive arguments en faveur et en défaveur de l'hypothèse Quantifiée prise en compte des problèmes statistiques meilleure estimation possible de la taille de l'effet étant donnée la totalité de l’information disponible Basée sur des résultats non biaisés Reproductible : méthodologie