La bibliométrie, à travers l’exploitation statistique des données issues des publications scientifiques, élabore des indicateurs qui constituent des points de repères pour situer la production scientifique au niveau national et international. Chaque indicateurs produit un éclairage différent et seule la convergence de plusieurs d’entre eux permet d’atteindre une vision globale et réaliste de l’impact de la recherche. Cette conférence d'Isabelle Henry était programmée le 8/11/2018 dans le cadre des JeudIST de l'IRD Occitanie, mais n'a pas pu se tenir pour des raisons indépendantes de notre volonté. Isabelle Henry est Directrice de la mission Evaluation et Programmation de la recherche de l’IRD depuis décembre 2015. Après 20 ans de recherche à l'Inserm comme généticienne moléculaire, elle a été responsable de sa politique de site puis a dirigé son département de l'évaluation et du suivi des programmes pendant 8 ans.

1. La bibliométrie :Valorisation des
publications à l’IRD
Jeud’IST 8 novembre 2018

2. Sommaire
Activités et productions des chercheurs
La bibliométrie
Les données, les outils
Les indicateurs et leurs limites
Que fait l’IRD dans le domaine de la bibliométrie
Et les SHS ?
D’autres outils qualitatifs pour explorer les publications
05/07/2018 2

3. Les activités des chercheurs
05/07/2018 3
Une grande diversité
Cursus
 Expérience, mobilité, qualité des laboratoires, recherche au sud
Projet
 Originalité, partenariat prise en compte du besoin, positionnement,
autonomie, faisabilité, perspectives, impacts développement anticipés et
maitrisés, …
Encadrement et direction
 Etudiants, équipe, unité, réseaux, programmes et partenariats au sud
Animation
 Partenariat au sud, enseignement, collaborations, réseaux, organisation
meeting, expertises, plates-formes,CRB, bases de données, logiciels…

4. La production support de valorisation
4
Aussi une grande diversité
Valorisation académique
 Différents supports
• Des publications originales dans des journaux à comité de lecture ;
• Des revues ;
• Des autres publications (journaux sans comité de lecture, ouvrages,…) ;
• Des co-publications avec les partenaires du Sud ; …
Valorisation économique
 Transfert des résultats de la recherche (technologique, vers le Sud, au service du
développement) : déclarations d’inventions ; brevets ; licences ; essais cliniques ;
partenariats avec le secteur privé ; expertises ; consultances ; entreprises ;
développement d’outils (logiciels, bases de données, atlas,…) ; plateformes ou
plateaux techniques…
Valorisation sociétale (hors économie)
 Amorce ou renforcement de partenariat au Sud ; transfert de connaissances
vers la société civile : formation ; information (vulgarisation) ; contribution aux
politiques publiques ; contribution aux Objectifs du Développement Durable ;
travaux d’expertise ; travaux de normalisation ; Interaction avec la société civile ;
…

5. La bibliométrie

6. La bibliométrie : D’où nous vient cette pratique
6
Une longue histoire de bibliothécaires
L'analyse de la littérature scientifique publiée de 1850 à 1860 dans le domaine de
l'anatomie peut être considérée comme la première étude bibliométrique : Cole, F. J.,
Eales, N. B. 1917. The history of comparative anatomy. Part I: A statistical analysis of
the literature. Science Progress, 11, 578-596.
En 1927, les références citées dans The Journal of American Chemistry, vont être
utilisées pour aider les bibliothécaires à choisir leurs revues : Gross, P. L. K. & Gross, E.
M. 1927. College libraries and chemical education. Science, 66, 385-389.
En 1934, la Loi de Bradford, du nom du documentaliste britannique Samuel C.
Bradford, permet de modéliser la répartition des journaux par domaine scientifique,
suivant le nombre d'articles et les thématiques de chaque journal. C'est encore une
ressource pour les bibliothécaires.
La bibliométrie moderne est l’application de méthodes statistiques et
mathématiques pour mesurer, évaluer, étudier, la production et la diffusion
d'ouvrages, d'articles et d'autres publications. Comme la scientométrie, la bibliométrie
est une sous-discipline des sciences de l’information.

7. Ce qu’est la bibliométrie et ce qu’elle n’est pas
05/07/2018 7
Contextualiser et avoir un regard critique
Répond à une question précise, n’existe pas dans l’absolu
Fournit des indicateurs qui constituent des points de repère pour situer la production
scientifique au niveau international
Procure un éclairage différent de la production scientifique en fonction de l’indicateur
choisi
Permet d’atteindre une vision globale et réaliste de l’impact de la recherche par la
convergence de plusieurs indicateurs qui doivent être choisis en fonction de la
question à laquelle on souhaite répondre
La bibliométrie apporte une appréciation quantitative objective
complémentaire à l’évaluation scientifique qualitative par les pairs
mais ne se substitue pas à elle et ne fournit pas de classement

8. Les données et les outils

9. Une production académique variée
9
L’AERES définissait pour 2010-2013, un classement selon les rubrique suivantes :
 ACL : Articles dans des revues internationales ou nationales avec comité de lecture
répertoriées dans les bases de données internationales (ISI Web of Knowledge,
Google Scholar, Harzing Publish or Perish, Pub Med
 ACLN : Articles dans des revues avec comité de lecture non répertoriées dans des
bases de données internationales.
 ASCL : Articles dans des revues sans comité de lecture,
 INV : Conférences données à l’invitation du Comité d’organisation dans un congrès
national ou international.
 ACT : Communications avec actes dans un congrès international ou national
 COM : Communications orales sans actes dans un congrès international ou national
 AFF : Communications par affiche dans un congrès international ou national
 OS : Ouvrages scientifiques (ou chapitres de ces ouvrages)
 OV : Ouvrages de vulgarisation (ou chapitres de ces ouvrages)
 DO : Directions d’ouvrages
 AP : Autres publications
Des écoles et des cultures différentes

10. Quelles informations dans une publication
10
Un titre
Un journal
Des auteurs => ID ou ORCID
Des adresses
Un abstract

11. Des bases de données
11
Des pays et des cultures différentes… => Des données différentes !
De nombreuses bases de données dont certaines permettent de
mesurer la reconnaissance de la communauté
Web of Science - WOS : Plus ancienne base de données bibliographiques
multidisciplinaire. Logiciel de calcul d’indicateurs Incites
SCOPUS : Lancé au début des années 2000. Logiciel de calcul d’indicateurs
Scival
Google Scholar: Gratuit, mais le nombre de citations est souvent surestimé
(doublons, sources non académiques, etc.).
À noter : la couverture de chaque base de données est différente. Le nombre
de citations varie donc d'une base de données à l'autre.

12. Quelques variations d’une base à l’autre
12
Quelques fois spectaculaires
Chercheur INRIA

13. Evaluer,Valoriser : De quelles données disposons
nous ?
13
Le nombre de publications : Article, Editorial, Lettre,
Proceeding paper, Review
Les citations
La place du chercheur dans la liste des auteurs
En fait : peu nombreuses

14. Les citations : de quoi parle-t-on ?
14
Le nombre de citations est une donnée commune dans certains domaines
scientifiques. Une publication, une fois qu'elle est publiée, va recevoir x citations,
c’est à dire qu'elle sera intégrée à la bibliographie finale de x autres publications. Le
comptage de ces citations peut mener à divers indicateurs :
 le nombre total de citations des articles : on additionne les citations reçues par
toutes ses publications.
 Le nombre total de citations sans autocitations : on additionne les citations reçues
par toutes ses publications sans les citation de l’article par les auteurs concernés.
 le nombre moyen de citations par article (taux de citation) : on divise le nombre
total de citations reçues par des publications par le nombre total de ses publications.
Les pratiques de citations varient beaucoup d'un domaine à l'autre : un article en
biologie sera en moyenne beaucoup plus cité qu'un article en mathématiques. On
ne peut donc pas comparer l'impact de deux articles provenant de deux domaines
sur la base du nombre absolu de citations reçues.
Le regard de la communauté

15. Les indicateurs et leurs limites

16. De la donnée à l’indicateur : Les attendus
05/07/2018 16
Robustesse : les données doivent être validées
Transparence : les résultats doivent être basés sur une méthodologie
rigoureuse, transparente et reproductible
Diversité : il faut tenir compte de la variabilité des domaines de recherche et
de leur granularité
Humilité : reconnaitre que l’évaluation quantitative supporte mais ne
remplace pas l’évaluation qualitative par les pairs
Réflexivité : reconnaitre et anticiper les effets pervers induits par l’utilisation
des indicateurs et les adapter en réponse au contexte de l’évaluation
http://www.hefce.ac.uk/pubs/rereports/Year/2015/metrictide/Title,104463,en.ht
ml

17. Quels indicateurs ?
05/07/2018 17
La production
 Nombre de publications / Chercheurs, …
La notoriété d’un chercheur
 Le H-index
Visibilité des travaux (par domaine)
 Les indices de citations normés – ICN : Le rapport au monde
 Le nombre de citations / publications
 Le nombre de publications au top 10% ou 1% / Chercheurs, …
 Part des publications au top 10% ou 1%
La notoriété des journaux
 IF
 Nombre de papiers dans des journaux duTop 10% des IF ou 1% / Chercheurs
 Part des papiers dans des journaux duTop 10% des IF ou 1%
Tout ces indicateurs peuvent être corrigés par la position de l’auteur
Premier (co), Dernier (co) et Corresponding
Selon le manifesto de Leiden

18. Le h-index
18
N’a de sens que pour un individus
Le h-index a ses limites :
 Il varie beaucoup entre les disciplines,
on ne devrait donc pas l'utiliser pour
comparer des chercheurs provenant
de disciplines différentes;
 Il varie beaucoup selon l'âge et la
durée de la carrière d'un chercheur;
 Il ne tient pas compte de l'ordre des
auteurs, ou du nombre d'auteurs d'un
article;
 Les citations excédentaires au h-index
sont ignorées (un auteur ayant publié
un seul article avec 300 citations aura
tout de même un h-index de 1).

19. Le n-index => Eviter le biais de l’age
19
L'indice h d'un auteur est forcément plus faible pour un jeune chercheur qui
a peu publié.
C'est pour tenir compte des années d'exercice, que l'indice n (ou n -index)
a été créé.
Il se calcule en divisant l'indice h par le nombre d'années depuis la première
publication.
 Un chercheur qui a un indice h de 12 et a publié son premier article il y
a 10 ans, aura un indice n de 1,2.
 Un jeune chercheur qui a un indice h de 4 et a publié son premier
article il y a 2 ans, aura un indice n de 2
N’a de sens que pour un individu

20. Visibilité des publications :Top 0,1%, 1%, 10%, …
20
Chaque publication est classée dans son domaine scientifique en fonction du
nombre de citations qu’elle a reçu.
Attention : Chaque base de données a
son propre référencement des domaines
scientifiques. Une publication au Top 10%
dans un système de référence peut ne pas
être au même niveau dans un autre
système.
Cela est aussi valable entre WOS (230
domaines) et Incites (252 domaines) par
exemple.
Cet indicateur évolue dans le temps

21. La notoriété des journaux : l’IF
21
A manipuler avec beaucoup de précaution
Le facteur d’impact (IF) d’une revue mesure la fréquence avec laquelle
ses articles sont cités dans les articles d'autres revues pendant une année
donnée. Il concerne les revues en « sciences dures », peu celles des "sciences
de l’ingénieur", très peu les "sciences sociales" et quasiment pas les "arts et
lettres".
Le facteur d'impact pour l’année N est calculé en divisant le nombre de
citations (pendant l'année N) de ses articles publiés les années N-1 et N-2 par
le nombre d’articles publiés dans cette revue les années N-1 et N-2.
Le facteur d'impact est publié tous les ans dans le Journal Citation
Report (JCR) par Thomson Reuters. Il y a toujours un décalage entre le
facteur d'impact et l'année de publication : de juin 2013 à juin 2014, on peut
consulter les facteurs d'impact 2012 ; c'est seulement en juin 2014 que sont
publiés les facteurs d'impact 2013.

22. La notoriété des journaux : l’IF
22
Les limites et les manipulations
Les articles publiés dans une revue à haut
facteur d'impact ne reçoivent pas tous un
grand nombre de citations, certains
articles peuvent même n'en recevoir
aucune. (Ne pas oublier : c'est une
moyenne)
Le facteur d'impact ne devrait pas être
utilisé pour juger de la valeur d'un article
spécifique.
Le facteur d'impact varie énormément
d'un domaine à un autre et ne devrait pas
être utilisé pour comparer des revues
dans des domaines différents.
Le facteur d'impact peut être manipulé,
notamment en demandant aux auteurs
de citer des articles provenant de la revue
dans laquelle ils espèrent publier.
Image de la barrière éditoriale

23. DORA :Vers une vision partagée
05/07/2018 23
San Francisco Declaration on Research Assessment
La Déclaration de San-Francisco sur l'évaluation de la recherche est une déclaration initiée
par des scientifiques américains et un groupe d'éditeurs de journaux scientifiques publiée en
2013. Elle est devenue une initiative mondiale concernant toutes les disciplines scientifiques,
que toute personne physique ou morale ou institution sensible aux besoins d'amélioration de
l’évaluation de la recherche scientifique peut signer.
L’IRD l’a signé en 2018 (724 organisations ont signé)
L'enjeu principal de cette déclaration est de mettre fin à la pratique d'établir une corrélation
entre le facteur d'impact (IF) d'une revue scientifique et la qualité de la contribution d'un
scientifique.
Rapport de la Commission Européenne : Evaluation of Research Careers “The report finds the
Journal Impact Factor does not accurately describe all articles in a particular journal and ‘makes
no sense’ for evaluation purposes. DORA is listed in the report as one of the main initiatives calling
for change in the scientific community. Yet, the report also shows that some institutions have
signed DORA without implementing its principles in their faculty hiring and promotion
procedures”

24. Le eighen factor
24
Peut-être plus juste ? Pas encore très accessible… A suivre
Le Eigenfactor est une mesure de l'importance d'une revue qui tient compte
de l'ensemble du réseau de citations. Cet indicateur se calcule avec un
algorithme ressemblant à celui utilisé par Google.
Le Eigenfactor
 Ne tient pas compte des autocitations;
 Prend en compte les données des cinq dernières années (comparativement à deux ans
pour le facteur d'impact);
 Est ajusté en fonction des taux de citations des différentes disciplines;
 Tient compte de la provenance des citations;
 Est disponible pour plus de 11 000 revues, jusqu'à l'année 2014. Pour les années plus
récentes, consultez le Journal Citation Reports, qui fournit le Eigenfactor depuis 2007.

25. Les quartiles
25
Moyennement informatif pour une maison comme l’IRD
Le JCR a intégré un indicateur créé par l'Institut National de la
Recherche Agronomique (INRA), les quartiles.
Une revue pouvant être rattachée à plusieurs domaines, son facteur d'impact
doit être évalué en comparaison avec les facteurs d'impact des revues du
même domaine. Dans une catégorie, elle peut être classée dans le quart des
revues qui ont le facteur d'impact le plus élevé (Q1), ou être dans le quart
inférieur (Q2) ou dans la seconde moitié des revues (Q3 et Q4).

26. Au-delà des bases de données : l’Altmetrics
Les mesures d'impact alternatives, ou altmetrics,
viennent compléter les indicateurs traditionnels.
Les altmetrics visent à faire ressortir l'utilisation de
résultats de recherche sur internet, en utilisant,
entre autres, les partages sur Twitter, Facebook ou
autres médias sociaux, les téléchargements sur
des plates-formes telles que Mendeley et les
mentions dans les blogues, les wikis et les
journaux.
05/07/2018 26
On n’échappe plus aux réseaux sociaux … Qualité de la donnée ?

27. Que fait l’IRD dans le domaine
de la bibliométrie ?

28. Des demandes : Du chercheur à l’institut
Les études sur l’institut => « IRD 5 ans », « Expatriation et
publications sud », …
Contrat d’objectifs et de performance => Deux mesures à
notre actif pour le contrat en cours
La dotation budgétaire des UMR => 49 unités tous les ans
Les recherches d’experts pour les CSS ou autres comités
Les études pays => 36 pays régulièrement regardés
Des études thématiques => PSIP ou « Sustainable sciences »
par exemple
Des études spécifiques à la demande
05/07/2018 28
Différents niveaux d’agrégation des données

29. Le choix des indicateurs
05/07/2018 29
La production
 Nombre de publications / Chercheurs, …
Visibilité des travaux (par domaine)
 Le nombre de citations / publications
 Le nombre de publications au top 10% ou 1% / Chercheurs, …
 Part des publications au top 10% ou 1%
La notoriété d’un chercheur uniquement au grade DR et plus
 Le H-index
La notoriété des journaux
 Quartiles… peu discriminant pour un organisme comme l’IRD
Tout ces indicateurs peuvent être corrigés par la position de l’auteur
Premier (co), Dernier (co) et Corresponding
Sur la base duWOS traitement Incites

30. Les études experts scientifiques
05/07/2018 30
Sur la base duWOS traitement Incites
Un point d’attention : « Les homonymes » => Contournés avec les N° ID ou ORCID
Travailler sur les 10 dernières années permet de comparer des experts d’un même domaine.
* : Publications à comité de lecture + Ouvrages complets. Pour la CSS4 les chapitres de livres ont
aussi été comptabilisés ainsi queTextes, Rapports, Expertises, Documents de cadrage …
** : Sans autocitations / Avec autocitations
*** : P = Premier auteur ; D = Dernier auteur ;
Sur les 10 dernières années
Nom Prénom CSS
Nbre total
de pub *
Nbr de pub
WOS
Total
citations**
Taux moyen de
citations
H index
10 ans
Top 10%
Co-
publications
sud
Position ***

31. Experts : Rapport de citations WOS
05/07/2018 31

32. Les études Pays
05/07/2018 32
36 pays étudiés à ce jour
Les domaines scientifiques : Production et visibilité
Les pays et régions co-publiants : Production et visibilité
La présence de l’IRD
Sur 5ans avec un recule de 2 ans

33. Les études UMR (hors SHS)
05/07/2018 33
Sur la base duWOS traitement Incites
Les indicateurs
 Nombre de publications WOS Sud de l’unité / nombre de publications WOS Sud
du département scientifique de référence
 Nombre de publications WOS Sud / ETP chercheurs (CR et DR = 1 ETP ; MCU et
PR = 0,5 ETP)
 Nombre de publications WOS Sud classées au top 10 % / nombre de
publications WOS Sud de l’unité
Le corpus de données
Pour analyser la production scientifique des UMR et UMI (hors UMS) impliquant
l’IRD, sur une période de 5 ans (l’année en cours n’est pas considérée), ont été
utilisées :
• Les données accessibles depuis le portail IRD Lab,
• Les données corrigées dans DAM de la dernière année considérée

34. L’étude Institut
05/07/2018 34
Les corpus => Périmètre UMR
 Disciplines scientifiques hors SHS => Base de données bibliométrique de Clarivate
Analytics (ex WOS) traitement des données dans Incites
 Disciplines SHS => IRD Horizon périmètre UMR et Statutaires IRD
Les indicateurs des disciplines scientifiques hors SHS
 Production : Nombre de publications
 Visibilité :
• Category Normalized Citation Impact : Rapport des citations sur la moyenne
mondiale de citations (Le monde = 1)
• Top 1% (10%) des citations du domaine (252 domaines de Incites)
 Notoriété : 1er quartile des revues classées par leur IF =Top 25% des revues les plus citées
Les indicateurs pour les SHS
 Production : Nombre de publications
 Visibilité : Part des publications relevant de journaux listés par le HCERES
Publications « Sud »
 Publications avec un adresse d’affiliation relevant d’un pays d’Afrique, d’Asie Pacifique,
d’Amérique Latine ou du Moyen Orient.
5 ans de production académique à l’IRD

35. L’étude Institut : Juste un exemple
05/07/2018 35
5 ans de production académique à l’IRD
L’IRD
• 12ème des organismes et établissements, 5ème des organismes de recherche
• 42% de la production au sud 1er des EPST
• Visibilité des publications au sud globalement supérieure
• Les organismes spécialisés sont généralement plus visibles
La France
• 6ème mondiale
• 22% de la production au sud
• Visibilité des publications au sud globalement supérieure

36. Et les Sciences Humaines et Sociales

37. Et les SHS
05/07/2018 37
 ACL : Articles dans des revues internationales ou nationales avec
comité de lecture répertoriées dans les bases de données
internationales (ISIWeb of Knowledge, Google Scholar, Harzing Publish
or Perish, Pub Med
 ACLN : Articles dans des revues avec comité de lecture non répertoriées
dans des bases de données internationales.
 ASCL :Articles dans des revues sans comité de lecture,
 INV : Conférences données à l’invitation du Comité d’organisation dans un
congrès national ou international.
 ACT : Communications avec actes dans un congrès international ou
national
 COM : Communications orales sans actes dans un congrès international ou
national
 AFF : Communications par affiche dans un congrès international ou
national
 OS : Ouvrages scientifiques (ou chapitres de ces ouvrages)
 OV : Ouvrages de vulgarisation (ou chapitres de ces ouvrages)
 DO : Directions d’ouvrages
 AP : Autres publications

38. Et les SHS
05/07/2018 38
De nombreuses études ont essayé d’apporter des solutions encore peu
satisfaisantes
Des groupes de travail thématiques au HCERES pour essayer de trouver
une solution par communauté
 https://www.hceres.fr/MODALITES-D-EVALUATIONS/Campagne-d-evaluation-2018-
2019/Guides-des-produits-de-la-recherche-et-activites-de-recherche
 Economie, Gestion, Géographie, Psychologie, Education, Activités sportives ,Histoire,
Archéologie, Histoire de l’art,… la liste s’allonge régulièrement
Un groupe de travail managé par le département SOC à l’IRD
=> A suivre
Le problème reste entier pour les indicateurs de visibilité

39. D’autres outils qualitatifs

40. Les études en réseaux
05/07/2018 40
Au-delà des indicateurs ponctuels et chiffrés, l'analyse des réseaux et
l'exploration de données constituent une part croissante des études
bibliométriques actuelles. Il s'agit de cartographier les occurrences et les
relations existant entre les différents éléments des publications (mots du
titre ou de l’abstract, mots-clés, auteurs, unités de recherche, citations,
...).
Quelques exemples d'études :
 Des réseaux établis par mots clés en fonction de l’occurrence dans les titres et les
abstracts
 Des réseaux d’auteurs collaborateurs fonction du nombre d’associations trouvées dans
les listes des auteurs.
Un autre regard

41. Réseaux de mots clés
Exemple IPME sur 200 publications : logiciel VOSviewer
Global
Focus sur disease

42. Réseaux de collaborations
Global
Focus surV.Verdier
Exemple IPME sur 200 publications : logiciel VOSviewer

43. Numéros ID ou numéros ORCID
05/07/2018 43
Facilitez vous (nous) la vie, créez votre ID ou ORCID
et référencez vos publications

44. Merci de votre attention