Pourquoi l'évaluation des chercheurs en fonction de leur publication est-elle limitée ?
Les sujets tabous liés à la publication (plagiat, falsification, fabrication de données), quelles conséquences ?
La communication au public, quels enjeux ?
L'impact des nouvelles technologies et de l'Open Access
2. Avertissement
• La plupart des chercheurs sont honnêtes
• La plupart des chercheurs sont honnêtes
• Les fraudes sont médiatisées mais très rares
• Les limites de l’intégrité scientifique sont
difficiles à percevoir
Publications RITME octobre 2013 2
3. Liens
d’intérêts,
H
Maisonneuve
• Rédacteur de www.redactionmedicale.fr
• Rédacteur adjoint de
• Consultant en rédaction et en formation professionnelle
• Membre commission HAS sur la qualité des revues
(2010-2013)
• Comité de rédaction de
• Auteur de ‘La rédaction médicale’, Doin, 2010
• Rédacteur de ‘Science Editors’ Handbook’, EASE 2013
Publications RITME octobre 2013 3
6. Publications et éthique !
• Vos questions ?
• Évaluation des chercheurs en fonction des
publications : qualité ou volume ?
• Les mauvaises pratiques : fréquence ?
Avez-vous des exemples ?
• Enjeux de la communication au public
• Impact des nouvelles technologies
Publications RITME octobre 2013 6
7. Aveuglement organisationnel
• On nous amuse
– avec les liens d’intérêts à bien déclarer alors
que la plupart des chercheurs sont honnêtes,
– avec les mauvaises pratiques qui
n’existeraient que dans l’industrie, et/ou
quand il existerait des enjeux financiers
• Pendant ce temps, le milieu académique
n’est pas gêné par des comportements
tout aussi condamnables
Publications RITME octobre 2013 7
8. Aveuglement organisationnel
• Les résultats ‘positifs’ sont publiés
plusieurs fois quand les résultats ‘négatifs’
ne sont jamais publiés : distorsion de la
science ?
• La plupart des publications ne seraient pas
reproductibles, étonnant, NON !
• Environ 50 % des publications seraient
‘embellies’, étonnant, NON !
Publications RITME octobre 2013 8
9. Aveuglement organisationnel
• L’accès aux données sources est presque
impossible
• Les chercheurs sont évalués sur la quantité
des citations avec un indicateur de notoriété
des revues, et non sur la qualité des
publications…
• Open Access et APCs*: les chercheurs ne
comprennent rien (green, gold, hybrid)
• L’intégrité scientifique ne s’enseigne pas !
Publications RITME octobre 2013 9
APC:
Ar.cle
Processing
Charge
10. Aveuglement organisationnel
• Les intérêts des acteurs de ce système
sont opposés à l’altruisme de la science
• Les auteurs veulent publier, mais certains
sont honoraires, fantômes,….
• Les rédacteurs sont autoritaires
• Les reviewers sont dans l’ombre
• Les propriétaires des revues sont rois
• Les lecteurs n’ont rien à dire
Publications RITME octobre 2013 10
11. Un
exemple
du
4
octobre
2013
Publications RITME octobre 2013 11
14. Methods
• The paper took this form: Molecule X from lichen
species Y inhibits the growth of cancer cell Z. To
substitute for those variables, I created a
database of molecules, lichens, and cancer cell
lines and wrote a computer program to generate
hundreds of unique papers. Other than those
differences, the scientific content of each paper is
identical.
• Author: Ocorrafoo Cobange, Wassee Institute of
Medicine, Asmara
Publications RITME octobre 2013 14
15. Results
• The final list of targets came to 304 open-access
publishers: 167 from the DOAJ, 121 from Beall’s
list, and 16 that were listed by both.
• By the time Science went to press, 157 of the
journals had accepted the paper and 98 had
rejected it. Of the remaining 49 journals, 29 seem
to be derelict: websites abandoned by their
creators. Editors from the other 20 had e-mailed
the fictitious corresponding authors stating that
the paper was still under review…
Publications RITME octobre 2013 15
16. Des
arHcles
ont
été
publiés
Publications RITME octobre 2013 16
17. Qu’en
conclure
?
• ‘Science’ a été très critiqué :
– L’article de Bohannon n’a pas été reviewé
– Les méthodes sont mauvaises : pas de
comparaison, mauvaises données,…
• La communauté serait innocente !
– Est-ce un problème d’open access ?
– Est-ce que le peer-review ne sert à rien ?
– Comment travaillent les revues scientifiques ?
– Peut-on améliorer le système ?
Publications RITME octobre 2013 17
19. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 19
20. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 20
21. Ma
vision
des
intérêts
des
acteurs
Auteurs
Reviewers
Rédacteurs
Propriétaires
Lecteurs
Publications RITME octobre 2013 21
28. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 28
30. Annals of surgery 2013 janvier, 1-6
• 327 essais randomisés
• 152 enregistrés avec protocole
• 75 / 152 (49 %) « showed some
evidence of discrepancies
between outcomes registered and
the outcomes published, most
often related to omitting or
introducing a primary outcome »
Publications RITME octobre 2013 30
32. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des
publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 32
34. Difficulté de répliquer les recherches
• AMGEN : haematology and oncology
departments, Californie
• 53 articles qualifiés de ‘landmark studies’ : 21
dans des revues de facteur d’impact > 20, et
32 dans des revues de facteur d’impact entre
5 et 19
• 6 (11 %) ont été reproduits
• Limitations car certains articles décrivaient
des données préliminaires… mais 11 % est
choquant
Publications RITME octobre 2013 34
35. Bayer : 67 projets, 20/25 % de
données concordantes
Publications RITME octobre 2013 35
36. Nature, 29 mars 2012:531-533
Publications RITME octobre 2013 36
38. PLOS ONE, 15 mai 2013
• Méthodologiquement, taux de réponse faible
• sur 171 chercheurs américains d’un centre
anticancéreux du Texas, environ la moitié ont
évoqué des difficultés pour reproduire des résultats
Publications RITME octobre 2013 38
40. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 40
41. NEJM August 2010: ‘hot paper’
http://www.nejm.org/doi/pdf/10.1056/NEJMoa0912611
Publications RITME octobre 2013 41
42. Washington post: étude ouverte,
33 patients par groupe !
• CAVEATS Data were based on the participants'
ratings of their pain and their answers to
questionnaires.
• The number of participants was small, and the
study did not assess long-term effectiveness.
• The results may have been influenced by
participants' beliefs and expectations, although
the researchers said they tried to de-emphasize
tai chi by telling participants that the study would
test the effects of two types of exercise
programs, one combined with education.
Publications RITME octobre 2013 42
h<p://www.washingtonpost.com/wp-‐dyn/content/ar.cle/2010/09/03/AR2010090305147.html
43. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 43
47. PLOS ONE 2012 : 23 000 articles
Publications RITME octobre 2013 47
48. PLoS ONE publie 70 % des articles soumis
Too often a journal’s decision to publish a paper is
dominated by what the Editors think is interesting
and will gain greater readership — both of which are
subjective judgments and lead to decisions which
are frustrating and delay the publication of your
work. PLoS ONE will rigorously peer-review your
submissions and publish all papers that are judged
to be technically sound. Judgments about the
importance of any particular paper are then made
after publication by the readership (who are the
most qualified to determine what is of interest to
them).
Publications RITME octobre 2013 48
49. Les prédateurs
• Un business sans
concessions
• L’ére de
l’électronique
permet de créer des
revues en peu de
temps
• http://
scholarlyoa.com/
publishers/
49
Publications RITME octobre 2013
50. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 50
52. Les mauvaises pratiques
• De l’erreur à la fraude : volontaire /
involontaire
• Historiquement classement en ‘FFP’ pour
falsification, fabrication et plagiat… mais
insuffisant
• Les rétractations (et/ou expressions de
réserves) des articles ne sont pas la bonne
solution
• Les rétractations sont très rares : 0,02 % des
articles dans PubMed, dont la moitié pour
erreurs
Publications RITME octobre 2013 52
53. Mauvaises pratiques
• « Research misconduct » est défini comme le comportement,
intentionnel ou non, d'un chercheur qui ne respecte pas toutes
les bonnes pratiques éthiques et scientifiques. Les mauvaises
conduites scientifiques comprennent la fabrication, la
falsification, la suppression, ou la manipulation inappropriée de
données ; la manipulation inappropriée d'images ; le plagiat ; les
reportages trompeurs ; les publications redondantes ; les
mauvaises pratiques des auteurs comme les fantômes et les
invités ; l'oubli de citer les sources de financement ou les liens
d'intérêts ; mauvaise présentation du rôle du financeur ; et la
recherche non éthique (par exemple, non obtention du
consentement des patients)
• Les mauvaises pratiques gaspillent des ressources, mettent en péril
la crédibilité de la science, et peuvent engendrer des risques (par
exemple pour les patients et le public)
• A consensus statement on research misconduct in the UK. BMJ 2012;344:e1111Publications RITME octobre 2013 53
54. De Darsee à Boldt (et Fujii)
• John Darsee : 82
articles rétractés
• Années 80s
• Emory University puis
Harvard
• Cardio puis
réanimation
• A continué à exercer
• A expliqué la naïveté
des co-auteurs
• Joachim Boldt : 88
articles rétractés
2011/2012
• Heidelberg, Allemagne
• Anesthésie
réanimation puis
STOP
• Action de 16
rédacteurs de revues
• Investigations en
cours
• Prison ?
Publications RITME octobre 2013 54
55. Fraude
en
anesthésie:
environ
300
rétractaHons
pour
S
Reuben,
J
Boldt,
Y
Fujii
Publications RITME octobre 2013 55
56. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le
facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 56
57. Facteur d’impact
Impact factor : un indicateur créé dans les années
60 pour évaluer la notoriété des revues, afin
d’orienter les publicités : ISI, Institute for Scientific
Information (Philadelphie, USA) acheté par
Thomson Reuters ; une base de données de 8000
revues scientifiques, surtout américaines
57
Publications RITME octobre 2013
Nombre
de
citaHons
en
2010
des
arHcles
citables
en
2008
et
2009
Nombre
d’arHcles
citables
en
2008
et
en
2009
Tout
dépend
de
ce
qui
est
pris
en
compte
dans
les
arHcles
«
citables
»
;
de
très
nombreuses
‘manipulaHons’
de
la
part
des
revues
58. 17 janvier 2011
Recommandation n° 2 : La bibliométrie ne peut
pas se résumer à des nombres, mais doit être
accompagnée d’un examen approfondi des
données bibliométriques et bibliographiques, et si
possible des articles eux-mêmes
Recommandation n° 3 : Les indices bibliométriques
ne peuvent pas être utilisés de la même façon
selon l’objet de l’évaluation : recrutements,
promotions, contrats, distinctions, etc.
Publications RITME octobre 2013 58
63. Des exemples
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield
et ROR
Publications RITME octobre 2013 63
64. Exemple : Wakefield
• 1998, The Lancet
• 12 cas d’enfants autistes ayant été
vaccinés par le ROR (MMR)
• Les médias s’en emparent… et les
politiques
• La vaccination diminue en Angleterre, à
Londres
• Un mort de rougeole à Dublin… plus tard
Maisonneuve H et al. Affaire Wakefield.. Presse Médicale 2012;
septembre http://dx.doi.org/10.1016/j.lpm.2012.03.022
Publications RITME octobre 2013 64
65. Les doutes et démentis
• Devant les doutes, lettres en 2004 dans
le Lancet après enquête dans l’hôpital
• Brian Deer, journaliste d’investigation
continue d’alerter
• 2010 : rétractation de l’article du
Lancet suite à une investigation du
General Medical Council
• 2011 : 3 articles du BMJ racontent
l’histoire
Publications RITME octobre 2013 65
66. 12 ans pour ce tableau
Publications RITME octobre 2013 66
68. L’histoire reconstituée à posteriori
• De 1996 à 1998, Wakefield a reçu 500 000
£ pour conduire des recherches sur ce sujet
• L’argent venait d’un cabinet d’avocats, en
fait d’une association « Anti-vaccins »
• Wakefield n’était pas pédiatre, mais
chirurgien digestif
• Il a été démis de son titre de médecin
• En 2013, il donne des conférences aux USA
pour des lobbies anti-vaccins (Austin, Texas)
Publications RITME octobre 2013 68
69. Les conséquences ?
• Des études ont été publiées après 1998 : 7
études de cohortes, 9 études cas-témoin,
et 4 études à partir de registres ou
rétrospectives.
• Aucun lien dans ces études
• Combien ont coûté ces travaux : coûts
directs, coûts indirects et coûts cachés ?
• Agences du médicament, industries
pharmaceutiques, centres de
pharmacovigilance ont été alertées 10 ans
Publications RITME octobre 2013 69
70. PLOS ONE, 31 janvier 2011
• Plusieurs travaux de l’équipe de Bordeaux
sur les messages trompeurs transmis par les
médias à partir d’articles
• Domaine Hyperactivité de l’enfant
Publications RITME octobre 2013 70
71. Conclusion !
1. Intérêts des acteurs
2. L’embellissement
3. La (non) reproductibilité des publications
4. Les ‘hot papers’
5. Open Access et APCs
6. Les mauvaises pratiques
7. DORA pour abandonner le facteur d’impact
8. Tromper le public : Wakefield et ROR
Publications RITME octobre 2013 71