Introduction aux concepts et outils
de la bibliométrie
Manuel Durand-Barthez - URFIST Paris 27 octobre 2016
Journée d’étud...
Calculer ?
!  Calculer pour qui ?
!  Calculer comment ?
!  Calculer pourquoi ?
www.htemeel.com
Tout ce qui est comptabilisable ne compte pas
et tout ce qui compte n’est pas comptabilisable
William Bruc...
Calculer pour qui ?
Contexte législatif français :
!  Les Programmes de la LOLF
(loi organique relative aux lois de financ...
Les Programmes de la LOLF
!  3 programmes gérés par le MENESR :
!  P150 : Enseignement supérieur &
Recherche = financement...
Indicateurs communs
aux P 150, 172 et 193
a) Production scientifique des
opérateurs du programme.
Part des publications de ...
Indicateurs communs
aux P 150, 172 et 193
b) Reconnaissance scientifique
des opérateurs du programme
• Indice de citation ...
Indicateurs d’autres programmes LOLF
!  P192 (Min. Économie, Industrie &
Numérique)
!  Bibliométrie des écoles
! Nombre mo...
Calculer pour être classé
!  Shanghai
!  Times Higher Education World University
Rankings.
!  QS [Quacquarelli Sysmonds] W...
Calculer pour être classé
!  Les classements en vigueur sont plutôt
mal adaptés au cas français
◦  Recensent pour l’essent...
Calculer pour être classé
!  En France, le recensement est faussé par
l’hétérogénéité importante des
Affiliations
!  Le mi...
EVALUATION DES
PUBLICATIONS
13875 titres revendiqués
sur la Plate-Forme propriétaire de
l ISI
WEB OF SCIENCE (WoS)
[2016]
Répartition par Domaines
!  8854 titres en Sciences Technologie
Médecine
Base Science Citation Index
!  3242 titres en Sci...
EVALUATION DES SOURCES
(Titres des revues)
JOURNAL CITATION REPORT
(J.C.R.)
Tableau statistique annuel
paraît à la fin du ...
Calcul du Facteur d’Impact ISI
ChristinaWelsh–CC-
BYND
Journal: EMBO J
Impact Factor: 9,643
Cites in 2015 to articles published in: 2014 = 1630
2013 = 2285
14+13 = 3915
Number o...
Le calcul sur deux ans n'est pas forcément le
plus adapté à toutes les spécialités :
Certaines peuvent mieux supporter
5 a...
Facteurs de pondération:
- Périodicité + ou – grande: 2 ou 52
num. par an ?
- Nombre d articles par numéro
- Changement de...
Facteurs d Impact
et Axes de Recherche
!  177 Subject Categories du JCR S.T.M.
regroupées en 8 disciplines académiques
par...
Chercher la « bonne » revue
!  Les « bonnes revues » d’un domaine
définies à partir du Journal Citation
Reports
!  Une inv...
Méthode des 10 + 15 % Subj. Cat. /JCR
!  Sélectionner 1, 2, voire 3 Subject
Categories (parmi les 177) correspondant
au do...
Cette Catégorie comporte 135 revues
2015, Science Citation Index Expanded (SCIE)
Select
Quartile n°1
Bloc Quartile n°1
Top 10% = 13 / 135
Grands écarts
entre les 3
premières
positions
Fin du premier Quartile
15 % suivant le Top 10
= de 14 à 33
Remarquer l’Eigenfactor en dernière colonne
(commentaire + loi...
Évaluation des Auteurs
Facteur de HIRSCH
Calcul d une moyenne faisant
coïncider:
!  Nb de Publications et
!  Nb de Citatio...
Facteur H
Jorge Hirsch, Univ. San Diego (Cal.)
Si 25 articles cités au moins 25 fois,
alors H=25
Facteur H
!  Si H = 25 : 25 articles cités au moins
20 fois
!  H = √Σcit. ⁄ 1,82 (racine carrée du
nombre total de citatio...
Principaux problèmes liés au H
index
!  Cumul arithmétique associé à
l’ancienneté: le jeune chercheur très
talentueux n’es...
Comment calculer ?
!  L’Administration tend à privilégier les
mesures expéditives.
◦  Pour les publications : facteur d’im...
Dérivés de l’impact
!  Score SIGAPS (recherche médicale)
!  5 catégories de publis (ordre décroissant
de notoriété suivant...
Dérivé du H (valorisation de l’auteur)
!  Score SIGAPS en signatures :
◦  Premier ou Dernier auteur : 4 points
◦  Deuxième...
Duncan C, 2006, FlickR
Typologie des publications
!  «Journaux stratégiques » vs. « outils de
travail »
!  Impact artificiel des reviews
!  Incid...
Facteur d’impact agrégé vs. médian
" Calcul effectué sur les moyennes et
médianes des F.I. des revues d’une
discipline
!  ...
Variantes du Facteurs d’impact
!  Traçabilité des citations : par qui la publication citante est-
elle citée ; par qui la ...
Variantes du Facteur « H »
!  Facteur « G » de Leo Egghe (Univ.Anvers)
!  Nombre « g » d'articles dont la somme des
nombre...
Variantes du Facteur « H »
!  Multiples facteurs dérivés sous
l’application Publish or Perish de Will
Harzing, liée à Scho...
Variantes du Facteur « H »
!  Nb de citations des chercheurs d’un
laboratoire rapporté à l’âge de chacun.
!  Calcul effect...
Variantes du Facteur « H »
!  BORNMANN, L., MUTZ, R., DANIEL, H.D.
(2009). Do we need the h Index and its variants
in addi...
Réseaux de co-citations et de citations
partagées
!  Définition de collèges invisibles
!  CiteseerX (Pennsylvania State Un...
Réseaux de co-citations et de citations
partagées
!  CiteseerX : partant de l’article
source
! Quels articles cite-t-il ?
...
Bibliographie
en fin d’article
Onglet Active
Bibliography
⇒ Liste d’articles citant
en bibliographie des
articles cités pa...
Combinaison de facteurs multicritères
« Méthode Langevin » Section 17 CNRS, 2007 =>
Adjacence de 14 critères. L’impact bib...
Comparatif 4 métriques :
SNIP et SJR (Elsevier)
I.F. et 5-years I.F. (Clarivate)
Chemical Engineering Journal - 2016
Evaluations alternatives qualitatives
!  A l’origine sur les preprints d’ArXiv
!  Sur l’article, dans la revue même, type
...
Altmetrics
!  « Manifesto » du 26 octobre 2010 par:
o  Jason Priem, University of North Carolina-Chapel
Hill
o  DarioTarab...
Altmetrics
! Évaluation à partir des Tweets, des
Blogs, des systèmes de gestion
bibliographique partagée (Mendeley,
Zotero...
Aninvestigationofthefalsediscoveryrateandthemisinterpretationofp-values
D.ColquhounRSocOpenSci2014Nov;1(3):140216
Classements internationaux alternatifs
Classement de Leyde (Leiden-NL)
• Impact moyen d’une équipe rapporté à celui
d’un c...
Classement de Leiden sur 4 ans : 2011-2014
Physique et Sci. de l’Ingénieur
Europe
Seuil plancher : 100 publis
Calcul en co...
En guise de conclusion(s)?
! Moduler, nuancer, faire évoluer les
indicateurs dans le sens d’une
caractérisation optimale d...
Introduction aux concepts et outils de la Bibliométrie
Introduction aux concepts et outils de la Bibliométrie
Prochain SlideShare
Chargement dans…5
×

Introduction aux concepts et outils de la Bibliométrie

215 vues

Publié le

Initiation à la méthodologie bibliométrique, classique et alternative

Publié dans : Formation
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Introduction aux concepts et outils de la Bibliométrie

  1. 1. Introduction aux concepts et outils de la bibliométrie Manuel Durand-Barthez - URFIST Paris 27 octobre 2016 Journée d’étude CentraleSupélec : « Les enjeux documentaires de la thèse »
  2. 2. Calculer ? !  Calculer pour qui ? !  Calculer comment ? !  Calculer pourquoi ?
  3. 3. www.htemeel.com Tout ce qui est comptabilisable ne compte pas et tout ce qui compte n’est pas comptabilisable William Bruce Cameron 1957, 1958 et 1963…? http://quoteinvestigator.com/2010/05/26/everything-counts-einstein/#more-455
  4. 4. Calculer pour qui ? Contexte législatif français : !  Les Programmes de la LOLF (loi organique relative aux lois de finances) !  IIs visent: !  La « production scientifique » alias les publications !  Le transfert de technologie (dépôt de brevets…) !  La participation aux Programmes de recherche & Développement de l’Union européenne (ex.: H2020)
  5. 5. Les Programmes de la LOLF !  3 programmes gérés par le MENESR : !  P150 : Enseignement supérieur & Recherche = financement DGESIP !  P172 : Recherches scientifiques et technologiques pluridisciplinaires = financement DGRI !  P193 : réservé exclusivement au CNES = financement DGRI
  6. 6. Indicateurs communs aux P 150, 172 et 193 a) Production scientifique des opérateurs du programme. Part des publications de référence internationale des opérateurs du programme dans la production scientifique de l’Union européenne, du monde et du trio France /Allemagne / Royaume-Uni.
  7. 7. Indicateurs communs aux P 150, 172 et 193 b) Reconnaissance scientifique des opérateurs du programme • Indice de citation à deux ans des publications des opérateurs du programme Source des données : Web of Science, Clarivate-Analytics (ex-Thomson-Reuters) Base de référence spécifiquement agréée par l’Administration (LOLF)
  8. 8. Indicateurs d’autres programmes LOLF !  P192 (Min. Économie, Industrie & Numérique) !  Bibliométrie des écoles ! Nombre moyen de publications scientifiques de rang « A » rapporté au nombre de chercheurs (ETP) Source: Consolidation des informations apportées par les organismes concernés
  9. 9. Calculer pour être classé !  Shanghai !  Times Higher Education World University Rankings. !  QS [Quacquarelli Sysmonds] World University Rankings !  U-Multirank !  Leiden Ranking ◦  Les classements ne sont pas, en France, un objectif officiellement avoué, mais toujours implicitement visé
  10. 10. Calculer pour être classé !  Les classements en vigueur sont plutôt mal adaptés au cas français ◦  Recensent pour l’essentiel les établissements d’E.S. => Orientation des étudiants avancés pour la suite de leurs études ◦  Ne concernent les grands organismes français de Recherche que par le biais de la « contamination » UMR/Universités, le cas échéant => inadéquation du modèle
  11. 11. Calculer pour être classé !  En France, le recensement est faussé par l’hétérogénéité importante des Affiliations !  Le millefeuille des signatures croît avec le poids politique des superstructures (COMUÉs etc.) et un usage immodéré de la syntaxe multilignes ou de monolignes mal construits
  12. 12. EVALUATION DES PUBLICATIONS 13875 titres revendiqués sur la Plate-Forme propriétaire de l ISI WEB OF SCIENCE (WoS) [2016]
  13. 13. Répartition par Domaines !  8854 titres en Sciences Technologie Médecine Base Science Citation Index !  3242 titres en Sciences sociales Base Social Science Citation Index !  1779 titres en Sciences humaines Base Arts & Humanities Citation Index
  14. 14. EVALUATION DES SOURCES (Titres des revues) JOURNAL CITATION REPORT (J.C.R.) Tableau statistique annuel paraît à la fin du 1er semestre de l année « n+1 » 2015 (paru en 2016): 8757 titres analysés en STM 3206 en Sci. sociales
  15. 15. Calcul du Facteur d’Impact ISI ChristinaWelsh–CC- BYND
  16. 16. Journal: EMBO J Impact Factor: 9,643 Cites in 2015 to articles published in: 2014 = 1630 2013 = 2285 14+13 = 3915 Number of articles published in: 2014 = 181 2013 = 225 14+13 = 406 Calculation: Cites to recent articles 3915 = 9,643 Number of recent articles 406
  17. 17. Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités : Certaines peuvent mieux supporter 5 ans de délai Notamment parce que la nature des articles publiés possède un caractère plus pérenne et plus fondamental, appréciable (et donc "citable") sur une plus longue durée
  18. 18. Facteurs de pondération: - Périodicité + ou – grande: 2 ou 52 num. par an ? - Nombre d articles par numéro - Changement de titre en cours d année - « Jeune » périodique (libre, par ex.) - Nombre de textes type « review » - Langue, alphabet
  19. 19. Facteurs d Impact et Axes de Recherche !  177 Subject Categories du JCR S.T.M. regroupées en 8 disciplines académiques par l Observatoire des Sciences et des Techniques (O.S.T.) + 1 pluridisciplinaire (type Science ou Nature) !  Les Subject Categories font l objet d un Facteur d Impact agrégé sur le JCR dont la variation annuelle peut éventuellement se répercuter sur les politiques de recherche
  20. 20. Chercher la « bonne » revue !  Les « bonnes revues » d’un domaine définies à partir du Journal Citation Reports !  Une investigation sujette à caution !  La notion de rang A est multiforme et varie suivant les contextes !  Néanmoins, quelle méthode brute permet un défrichage basique ?
  21. 21. Méthode des 10 + 15 % Subj. Cat. /JCR !  Sélectionner 1, 2, voire 3 Subject Categories (parmi les 177) correspondant au domaine de recherche !  Afficher le premier Quartile dans l’ordre décroissant des facteurs d’impact !  Les 10 premiers pour-cent = rang A !  Les 15 suivants = rang B !  Après, cela n’a plus beaucoup d’intérêt…
  22. 22. Cette Catégorie comporte 135 revues
  23. 23. 2015, Science Citation Index Expanded (SCIE) Select Quartile n°1
  24. 24. Bloc Quartile n°1 Top 10% = 13 / 135 Grands écarts entre les 3 premières positions
  25. 25. Fin du premier Quartile 15 % suivant le Top 10 = de 14 à 33 Remarquer l’Eigenfactor en dernière colonne (commentaire + loin) Si 2 ou 3 catégories englobent le domaine recherché, comparer les Q1 de chacune, avec éventuellement des titres communs dont le rang sera différent I.F. du 1er = 25,4 I.F. du 33ème = 2,57 Soit 1/10
  26. 26. Évaluation des Auteurs Facteur de HIRSCH Calcul d une moyenne faisant coïncider: !  Nb de Publications et !  Nb de Citations = indice h
  27. 27. Facteur H Jorge Hirsch, Univ. San Diego (Cal.) Si 25 articles cités au moins 25 fois, alors H=25
  28. 28. Facteur H !  Si H = 25 : 25 articles cités au moins 20 fois !  H = √Σcit. ⁄ 1,82 (racine carrée du nombre total de citations recueillies [sauf auto-] par un nombre défini d’articles sur une période définie, divisée par 1,82)
  29. 29. Principaux problèmes liés au H index !  Cumul arithmétique associé à l’ancienneté: le jeune chercheur très talentueux n’est pas reconnu !  Le plus souvent (sauf par ex. en biomédecine), tous les co-auteurs capitalisent les citations de manière identique, quelle que soit leur contribution intellectuelle réelle !  Calcul contaminé par les biais du système de citations
  30. 30. Comment calculer ? !  L’Administration tend à privilégier les mesures expéditives. ◦  Pour les publications : facteur d’impact du JCR combiné au WoS mentionné par la LOLF ◦  Pour les auteurs : facteurs H !  Comme les classements : souvent dénigrés, toujours adulés…
  31. 31. Dérivés de l’impact !  Score SIGAPS (recherche médicale) !  5 catégories de publis (ordre décroissant de notoriété suivant l’IF de la revue) !  Données bibilio extraites de PubMed, catégorisation issue du WoS !  Attribution corrélative de 8,6,4,3,2,1 point(s) !  Les points sont cotés en équivalent € pour la subvention au labo
  32. 32. Dérivé du H (valorisation de l’auteur) !  Score SIGAPS en signatures : ◦  Premier ou Dernier auteur : 4 points ◦  Deuxième auteur : 3 points ◦  Troisième ou avant-dernier auteur : 2 points ◦  Autres positions d’auteurs : 1 point !  Le score Auteur est combiné par multiplication avec le score Publi pour affiner l’attribution financière
  33. 33. Duncan C, 2006, FlickR
  34. 34. Typologie des publications !  «Journaux stratégiques » vs. « outils de travail » !  Impact artificiel des reviews !  Incidence de calculs sur des moyennes ≠ des médianes !  Indices de notoriété, « boîtes à moustaches » Box Plots M.-H. Magri, INRA - CREBI Jouy-en-Josas (distribution de type Lotka)
  35. 35. Facteur d’impact agrégé vs. médian " Calcul effectué sur les moyennes et médianes des F.I. des revues d’une discipline !  Biologie cellulaire # F.I. agrégé = 5,734 ; médian = 3,200 !  Mathématiques # F.I. agrégé = 0,716 ; médian = 0,565 # Delta proportionnellement très inférieur (culture de publication ≠ biol.)
  36. 36. Variantes du Facteurs d’impact !  Traçabilité des citations : par qui la publication citante est- elle citée ; par qui la publication citant la citée est-elle elle- même citée etc… !  Exécution itérative du PageRank de Google (méthode de la « marche aléatoire ») !  Eigenfactor lié au J.C.R. (Clarivate) 5 ans !  Scimago Journal Rank lié à Scopus (Elsevier) 3 ans !  Facteur Y = produit de l’I.F.-WoS par le Weighted Page Rank (J.Bollen et al. 2006)
  37. 37. Variantes du Facteur « H » !  Facteur « G » de Leo Egghe (Univ.Anvers) !  Nombre « g » d'articles dont la somme des nombres de citations est au moins « g2 » ◦  un « g-index » de 10 indique que l'auteur a écrit 10 papiers dont la somme des citations est au moins de 100 !  Il est censé remédier au « gel » des publications captées au-dessus de l’indice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes d’entre elles
  38. 38. Variantes du Facteur « H » !  Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google, tenant compte de: ◦  L’ancienneté de l’article ◦  Du nombre d’auteurs ◦  6 combinaisons résultent de l’intersection de ces deux paramètres
  39. 39. Variantes du Facteur « H » !  Nb de citations des chercheurs d’un laboratoire rapporté à l’âge de chacun. !  Calcul effectué à partir de l’âge du plus jeune de l’équipe !  Étude de la croissance du taux de citation annuel moyen pour toute la carrière !  Disparition constatée de l’effet d’âge !  Calculs de médianes
  40. 40. Variantes du Facteur « H » !  BORNMANN, L., MUTZ, R., DANIEL, H.D. (2009). Do we need the h Index and its variants in addition to standard bibliometric measures? Journal of the American Society for Information Science andTechnology, vol. 60, n° 6, p. 1286-1289. !  BORNMANN, L., MUTZ, R., HUG, S.E., DANIEL, H.D. (2011) A multilevel meta-analysis of studies reporting correlations between the h index and 37 different h index variants Journal of Informetrics, 5(3), 346-359 Max Planck, ETH et Univ. Zürich
  41. 41. Réseaux de co-citations et de citations partagées !  Définition de collèges invisibles !  CiteseerX (Pennsylvania State Univ.) domaines de l’informatique et des mathématiques appliquées !  Cartographie induite d’un article et de ses (co)auteurs …/…
  42. 42. Réseaux de co-citations et de citations partagées !  CiteseerX : partant de l’article source ! Quels articles cite-t-il ? ! Quels sont les articles qui citent tout ou partie des articles qu’il cite ? ! Quels sont les articles qui sont cités en même temps que lui par d’autres ?
  43. 43. Bibliographie en fin d’article Onglet Active Bibliography ⇒ Liste d’articles citant en bibliographie des articles cités par la bibliographie de celui-ci Onglet Co-Citation ⇒ Liste d’articles cités en même temps que celui-ci par d’autres articles Histogramme chrono. des citations de cet article
  44. 44. Combinaison de facteurs multicritères « Méthode Langevin » Section 17 CNRS, 2007 => Adjacence de 14 critères. L’impact bibliométrique n’est cependant pas déterminant (recrutement DR2)
  45. 45. Comparatif 4 métriques : SNIP et SJR (Elsevier) I.F. et 5-years I.F. (Clarivate) Chemical Engineering Journal - 2016
  46. 46. Evaluations alternatives qualitatives !  A l’origine sur les preprints d’ArXiv !  Sur l’article, dans la revue même, type Open Access. Ex : European Geological Union !  Sur des articles publiés dans diverses revues, par des collèges thématiques: Faculty of 1000 liée à l’éditeur BioMed Central (absorbé par Springer)
  47. 47. Altmetrics !  « Manifesto » du 26 octobre 2010 par: o  Jason Priem, University of North Carolina-Chapel Hill o  DarioTaraborelli,Wikimedia Foundation o  Paul Groth,VU University Amsterdam o  Cameron Neylon, Science and Technology Facilities Council !  Mis en avant notamment par PLoS One, revue biomédicale U.S. en open access
  48. 48. Altmetrics ! Évaluation à partir des Tweets, des Blogs, des systèmes de gestion bibliographique partagée (Mendeley, Zotero) ou des réseaux professionnels de type LinkedIn ou Google Groups
  49. 49. Aninvestigationofthefalsediscoveryrateandthemisinterpretationofp-values D.ColquhounRSocOpenSci2014Nov;1(3):140216
  50. 50. Classements internationaux alternatifs Classement de Leyde (Leiden-NL) • Impact moyen d’une équipe rapporté à celui d’un champ, i.e. d’une catégorie de sujet • En rapport avec la taille de l’organisme • Analyse du taux de collaboration • Prise en compte du facteur linguistique U-Multirank Projet européen multicritère
  51. 51. Classement de Leiden sur 4 ans : 2011-2014 Physique et Sci. de l’Ingénieur Europe Seuil plancher : 100 publis Calcul en compte fractionnaire
  52. 52. En guise de conclusion(s)? ! Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités ! Recenser, certes oui, mais pour qui, pourquoi, à quelles fins ? ! A-t-on ici réellement répondu à ces questions ? $  On peut en douter…

×