Conférence invitée aux 10e Rencontres Infocom' de Toulouse, le 17 février 2022 https://www.univ-tlse3.fr/rencontres-infocom-la-desinformation

1. Dépollu'on de la li.érature scien'fique :
traque d’expression torturées
et autres manipula'ons
17 février 2022
10es
rencontres Infocom
Guillaume Cabanac
guillaume.cabanac@univ-tlse3.fr
@gcabanac

2. 2
La science : accumulation des connaissances
la science forme le mur de la connaissance
M
temps
qui
passe
:
sédimenta/on
c
i
t
e
1965

3. 3
Processus d’auto-correc5on
publication corrigée ou rétractée
publication erronée = édifice fragilisé
M
temps
qui
passe
:
sédimenta/on
c
i
t
e
h"ps://www.youtube.com/watch?v=yeX_Zs7zztY
M
⟹ poli/ques d’austérité

4. 4
Le serment des scientifiques
Évalua/on par les pairs
une revue :

5. 5
Le champ (de bataille) scien5fique

6. 6
Massifica5on et mondialisa5on
STM Global Brief 2021
1665 – 2022
16 000 / jour
Voir aussi : h<p://uis.unesco.org/apps/visualisaCons/research-and-development-spending
2,0 % PIB
2,7 % PIB
1,6 % PIB
2,3 % PIB

7. 7
Un business et des oligopoles
Voir aussi : Larivière, V., Haustein, S., & Mongeon, P. (2015). The Oligopoly of Academic Publishers in the Digital Era. PLOS ONE, 10(6), h<ps://doi.org/10.1371/journal.pone.0127502
F = forecast
STM Global Brief 2021
STM Global Brief 2021
Deux fois plus de revues en 20 ans.
Deux fois plus d’experts mondiaux ?
Film “Paywall : the Business of Scholarship”
Financial Times

8. 8
Les éditeurs prédateurs et leurs revues bidon
…

9. 9
Pollu5on en science
MODUS OPERANDI
1. Génération algorithmique : SCIgen
2. Plagiat et expressions torturées
3. Peer Review hacking
4. Paper mills alias moulins à papier
5. Citation hacking

10. 10
Article généré par SCIgen et … publié en 2005 🤪

11. 11
Ar;cle SCIgen passant sous les radars

12. 12
Le générateur SCIgen (Est. 2005)
https://pdos.csail.mit.edu/archive/scigen/
bidons
et
publiés

13. 13
Notre contribution : passer la littérature au peigne fin
📄
📄
📄
📄
ID 7
ID 42
Opérateur
Booléen
Recherche
d’expression

14. 14
Problema;c Paper Screener
h2ps://www.irit.fr/~Guillaume.Cabanac/problema>c-paper-screener
N = 262 ar/cles dont 197 pas rétractés,
publiés et souvent vendus !

15. 15
Pollu5on en science
MODUS OPERANDI
1. Génération algorithmique : SCIgen
2. Plagiat et expressions torturées
3. Peer Review hacking
4. Paper mills alias moulins à papier
5. Citation hacking

16. 16
Quizz des expressions torturées
sun oriented force
solar energy
counterfeit consciousness
artificial intelligence
pinnacle flag to clamor propor/on (PSNR)
peak signal to noise ratio (PSNR)
bosom malignancy/peril
breast cancer
man-made brainpower
credulous Bayes
Naive Bayes
Nucleic corrosive enhancement tests (NAAT)
Nucleic acid amplifica/on tests (NAAT)
Extreme intense respiratory disorder
Severe acute respiratory syndrome (SRAS)
😵💫

17. 17
Notre preprint “Open Call for Inves;ga;on”

18. 18
D’où viennent les expressions torturées ?
hps://translate.google.com
1. Traduction automatique

19. https://spinbot.com
2. Paraphrasage
19
😵💫
D’où viennent les expressions torturées ?

20. 20
hps://transformer.huggingface.co/doc/arxiv-nlp
3. Génération de texte
😵💫
D’où viennent les expressions torturées ?

21. 21
OpenAI GPT-2 Detector
72,1 % des résumés de MicroPro
publiés en 2021
ont un score GPT de 98.6%
‘Lazy Surveys’
état de l’art
du fainéant
😵💫
D’où viennent les expressions torturées ?

22. 22
PPS : iden5fier et signaler les ar5cles probléma5ques
h$ps://www.20minutes.fr/monde/2643491-20191104-maree-noire-bresil-pire-venir-aver?t-president-jair-bolsonaro

23. 23
Cons5tuer une communauté
🕵
Preprint : Open Call for Inves5ga5on
PPS : effet boule de neige avec PubPeer.org
Crowdsourcing de d’évalua5ons post-publica5on

24. 24
Tortured Phrases et detectives sur PubPeer
😵💫

25. 25
Focus sur la nanobiologie
Expressions torturées = indices
D’autres erreurs à iden;fier!
⚠ Exper;se mé;er nécessaire
😵💫
😵💫
😵💫
https://nanobubbles.hypotheses.org

26. 26
Problema5c Paper Screener
Chiffres du 7 février 2022
3/10 000 ar/cles publiés en 2021 :
- 70 % d’Inde
- 6 % de Chine

27. 27
Réac5ons : pollu5on inacceptable !

28. 28
Réactions : pollution inacceptable !

29. 29
“Sunlight as disinfectant”
…

30. 30
Pollu5on en science
MODUS OPERANDI
1. Généra/on algorithmique : SCIgen
2. Plagiat et expressions torturées
3. Peer Review hacking
4. Paper mills alias moulins à papier
5. Cita<on hacking

31. 31
Cas 1 : Microprocessors and Microsystems (Elsevier)
Signaux faibles de manipulaDon
bulle

32. 32
h<ps://retracConwatch.com/2021/07/19/tortured-phrases-lost-in-translaCon-sleuths-find-even-more-problems-at-journal-that-just-flagged-400-papers/
Cas 1 : Microprocessors and Microsystems (Elsevier)

33. Cas 2 : Arabian Journal of Geosciences (Springer)
https://github.com/gcabanac/editorial-assessment
33
h"ps://retrac,onwatch.com/2021/09/28/springer-nature-slaps-more-than-400-papers-with-expressions-of-concern-all-at-once/

34. 34
Pollu5on en science
MODUS OPERANDI
1. Généra/on algorithmique : SCIgen
2. Plagiat et expressions torturées
3. Peer Review hacking
4. Paper mills alias moulins à papier
5. Cita<on hacking

35. Le marché du fake : offre et demande
35
Description de la manipulation (février 2022) :
https://pubpeer.com/publications/940C291607CF03969C6A936F8BA5B9#2

36. Pollution scientifique
36
h$ps://forbe$erscience.com/2020/01/24/the-full-service-paper-mill-and-its-chinese-customers/

37. 37
Pollu5on en science
MODUS OPERANDI
1. Généra/on algorithmique : SCIgen
2. Plagiat et expressions torturées
3. Peer Review hacking
4. Paper mills alias moulins à papier
5. Cita<on hacking

38. Cita;on hacking
38
https://pubpeer.com/publications/5BB17C4BD3F1EEA949058C2727810C

39. Cita;on hacking
39
hHps://doi.org/10.53053/MGSA7457
hHps://pubpeer.com/publicaNons/53A55C1EFF05FFABA62DA23350E770 hHps://pubpeer.com/publicaNons/0CDCB2AE2C5916CE5789987A4BAA4B
… … …

40. 40
Pollution en science – Conclusion
Malfaiteurs : faussaires pseudo-auteurs
Mobile : promo;on, reconnaissance, capital symbolique
Modus operandi : plagiats, infiltra;on de revues, achats de cita;ons
Conséquences : pollu;on de la li[érature
érosion de la confiance que la société
place dans la science
Détec;ves : scien;fiques professionnels et amateurs
bénévoles et volontaires
Objec;f : cura;f → dépolluer la li[érature
préven;f → an;ciper les nouvelles fraudes
Moyen : Ré-évalua;on décentralisée soutenue par le
Problema)c Paper Screener
Il faut dépolluer la liérature scien/fique
h$ps://fr.wikipedia.org/wiki/Dépollu?on
Des bénévoles ne<oient les côtes après la catastrophe du PresCge (2002).

41. 41
Crédits indiqués sur les diapos ou ci-dessous :
• Diapo 2 : hZps://www.facebook.com/hyperconsciousness/photos/if-i-have-seen-further-it-is-by-standing-on-the-shoulders-of-giants-isaac-
newton/3650241855102416/ hZps://www.canstockphoto.com/texture-of-old-brick-wall-with-broken-50415102.html
• Diapo 3 : hZps://www.istockphoto.com/fr/photo/trou-dans-le-mur-gm175183459-22041615
• Diapo 4 : hZps://sciencenorthwest.com/so-how-do-scien/sts-ensure-honest-and-truthful-results/
hZps://twiZer.com/h_sjastad/status/1207323854873473025
• Diapo 22 : hZps://www.20minutes.fr/monde/2643491-20191104-maree-noire-bresil-pire-venir-aver/t-president-jair-bolsonaro

42. 42
Errors and frauds in human-genetics papers
doi:10.1007/s11192-021-03871-9
PublicaCon : h<ps://doi.org/10.26508/lsa.202101203