Doctorat sciences - Bibliométrie : le JCR et les modèles alternatives

4 753 vues

Publié le

Support de formation (1h30-2h) à destination des doctorants, chercheurs et enseignants-chercheurs et personnels de l'UPMC

Publié dans : Formation, Technologie
5 commentaires
6 j’aime
Statistiques
Remarques
Aucun téléchargement
Vues
Nombre de vues
4 753
Sur SlideShare
0
Issues des intégrations
0
Intégrations
842
Actions
Partages
0
Téléchargements
111
Commentaires
5
J’aime
6
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Aide en ligne : http://admin-apps.isiknowledge.com/JCR/help/h_boxplot.htm#jrnlboxplot Horizontal lines above and below the box represent maximum and minimum values that are no more than 1.5 times the span of the interquartile range, which is the range of values between the 25th and the 75th percentiles. These lines are commonly referred to as "whiskers."
  • The abbreviated title of the cited journal. Click the title to go to the full record of the journal. Cited journals are sorted in descending order, from most cited to least cited. The numbers in the All Journals row are sums of the numbers in their respective columns. ALL OTHERS refers to 1) citing journals not listed by name in the table and 2) journals cited only once by the cited journal. If the number of cited journals is less than 25, all cited titles are listed. If there are more than 25 cited titles, all titles cited two or more times are listed individually. Titles cited only once are listed in alphabetical order until the total number of cited titles is at least 25; all other titles cited only once are collected in the ALL OTHERS category.
  • The abbreviated title of the cited journal. Click the title to go to the full record of the journal. Cited journals are sorted in descending order, from most cited to least cited. The numbers in the All Journals row are sums of the numbers in their respective columns. ALL OTHERS refers to 1) citing journals not listed by name in the table and 2) journals cited only once by the cited journal. If the number of cited journals is less than 25, all cited titles are listed. If there are more than 25 cited titles, all titles cited two or more times are listed individually. Titles cited only once are listed in alphabetical order until the total number of cited titles is at least 25; all other titles cited only once are collected in the ALL OTHERS category.
  • The SCImago Journal & Country Rank is a portal that includes the journals and country scientific indicators developed from the information contained in the Scopus® database (Elsevier B.V.). These indicators could be used to assess and analyze scientific domains. This platform takes its name from the SCImago Journal Rank (SJR) indicator , developed by SCImago from the widely known algorithm Google PageRank™. This indicator shows the visibility of the journals contained in the Scopus® database from 1996.
  • Prenons l’exemple de Faculty of 1000 Biology. Le domaine est subdivisé en 16 « facultés », i.e. Sujets, dont la supervision est confiée à 2, 3 ou 4 experts qualifiés Heads of Faculty. Chacune des Facultés se décline en Sections, dont le nombre oscille entre 3 et 12, dont la responsabilité est assumée par 2 ou 3 experts qui, à leur tour, contrôlent des équipes variant de 10 à 50 membres. On observe donc une hiérarchie assez pointue entre Facultés et Sections. L’effectif des Facultés est proportionnel au nombre d’articles publiés en moyenne dans la discipline correspondante. Indexation fine et transversale suivant le principe de l’arborescence pour éviter recoupements entre sections. Chaque membre, à la base, est invité à commenter les 2, 3 ou 4 articles qu’ils ont jugés les plus intéressants sur une période d’un mois. Chaque commentaire est assorti de liens vers les séminaires ou conférences qui peuvent graviter autour de la rédaction de cet article, de même que vers d’autres articles plus ou moins directement liés à celui-ci. Le cas échéant, le lien vers le texte intégral est bien sûr proposé. Puis, et c’est là que l’on touche la spécificité de ce système, chaque membre attribue le F1000 Factor en se conformant à une grille limitée à trois indices : 3 points = « Recommended » / 6 = « Must read » / 9 = « Exceptional »[1]. On fait ensuite la moyenne des deux indices les plus élevés attribués à cet article, à laquelle on ajoute un trentième de la somme de tous les indices attribués. Cela implique évidemment que l’article ait fait l’objet d’un minimum de trois commentaires, mais s’il est censé avoir un impact significatif, on peut naturellement supposer qu’il a été « détecté » et lu par un nombre appréciable d’examinateurs. Un commentaire est mis en ligne par le panel, qui qualifie l’article (découverte, avancée, hypothèse, confirmation, controverse) et le catégorise dans l’une des Sections.
  • eigenfactor.org ranks the influence of journals much as Google’s PageRank algorithm ranks the influence of web pages. By this approach, journals are considered to be influential if they are cited often by other influential journals
  • Journal Indicators : permet d'obtenir des données concernant les citations d'un journal sur 8 ans. En gros cela répond à la question : où publier un article scientifique pour qu'il soit reconnu. Country indicators : permet de croiser différentes données pour savoir quels pays publient sur quels sujets Coutry search : propose une mappemonde cliquable en guise d'interface qui permet de focaliser sur la production scientifique d'un pays. Saviez-vous qu'en France les domaines où l'on a publié le plus en 2006 sont : la médecine, la physique et l'astronomie puis la biochimie, la génétique et la biologie moléculaire? Moi non. Compare : est un outil qui permet ... de comparer la production scientifique de plusieurs pays (jusqu'à 4) ou Map Generator : replace les données d'un pays sur un diagramme et permet de choisir les indicateurs à croiser
  • Journal Indicators : permet d'obtenir des données concernant les citations d'un journal sur 8 ans. En gros cela répond à la question : où publier un article scientifique pour qu'il soit reconnu. Country indicators : permet de croiser différentes données pour savoir quels pays publient sur quels sujets Coutry search : propose une mappemonde cliquable en guise d'interface qui permet de focaliser sur la production scientifique d'un pays. Saviez-vous qu'en France les domaines où l'on a publié le plus en 2006 sont : la médecine, la physique et l'astronomie puis la biochimie, la génétique et la biologie moléculaire? Moi non. Compare : est un outil qui permet ... de comparer la production scientifique de plusieurs pays (jusqu'à 4) ou Map Generator : replace les données d'un pays sur un diagramme et permet de choisir les indicateurs à croiser
  • Doctorat sciences - Bibliométrie : le JCR et les modèles alternatives

    1. 1. Facteur d’impact, h- index, bibliométrie : pourquoi et comment? Dernière mise à jour : 23/10/2015 - Auteur : Frédérique Flamerie
    2. 2. Plan De quoi parle-t-on? Le facteur d’impact Les modèles alternatifs au facteur d’impact Le h-index Perspectives
    3. 3. 1. De quoi parle-t-on?
    4. 4. Lectures indispensables + rapport de l’Académie des Sciences + bibliographie et webographie BUPMC Disponible à la Bibliothèque BCPR (Biologie Chimie Physique Recherche) cote 507.2 GIN
    5. 5. « Do metrics matter ? » Alison Abbott , David Cyranoski , Nicola Jones , Brendan Maher , Quirin Schiermeier & Richard Van Noorden. Metrics : do metrics matter?, Nature, n° 465, p. 860-862 (2010). De quoi parle-t-on?
    6. 6. Qu’est-ce que la bibliométrie ? Elle se définit comme l’exploitation statistique des publications Elle « procède du calcul de divers indicateurs à partir des bases de données bibliographiques couvrant la quasi-totalité de la littérature scientifique et de leurs citations dans la plupart des disciplines. » Du bon, usage de la bibliométrie pour l’évaluation individuelle des chercheurs : Rapport de l’Académie des Sciences, 17 janvier 2011 De quoi parle-t-on?
    7. 7. A quoi la bibliométrie sert-elle? De quoi parle-t-on? Analyse des citations = outil multi-usage • recherche documentaire et gestion de collections de revues • histoire et sociologie des sciences • caractérisation • évaluation • classement
    8. 8. Plusieurs objets et plusieurs niveaux Sources, revues Pays Laboratoires, institutions Chercheurs De quoi parle-t-on?
    9. 9. Les palmarès : un apercçu De quoi parle-t-on? Caractériser • U-Multirank • Approche pluridimensionnelle • Comparer ce qui est comparable Classer • Classement de Shangaï • Monodimensionnel : critères de prestige scientifique • N’est plus significatif au-delà de la 10e place any number beats no number
    10. 10.  Pour les institutions et les chercheurs : • Thomson Reuters : Web of Science Core Collection (+ de 8 600 titres) et Essential Science Indicators • Elsevier : Scopus (+ de 20 000 titres)  Pour les sources / revues : • le Journal Citation Reports : données du Web of Science Core Collection • Journal Metrics : données de Scopus De quoi parle-t-on? Bases de données de référence
    11. 11. Pourquoi le Web of Science est-il (si) sélectif? Loi de Bradford Effet Mathieu évangile selon St Matthieu 25- 29 : « Car on donnera à celui qui a et il sera dans l’abondance, mais à celui qui n’a pas, même ce qu’il a lui sera retiré » Voir : A. Blanchard, Distributions et lois Bibliométriques - 31/01/2005 0 20 40 60 80 100 120 0 1000 2000 3000 4000 5000 6000 # of journals %ofdatabase Articles Citations Distributions bibliométriques : 20/80 Source : Thomson-Reuters - présentation UPMC 2011
    12. 12. Notion clé = la citation  Une citation au sens du Web of Science est la référence à : • une review, • un article de recherche, • un éditorial, • etc. : article de toute nature  Mise en relation nombre de citations/nombre d’articles au fondement des 2 indicateurs les + utilisés • facteur d’impact • h-index De quoi parle-t-on?
    13. 13. 2. Le facteur d’impact
    14. 14. Le facteur d’impact
    15. 15. Mode de calcul Exemple : Facteur d’impact de The Astrophysical Journal en 2012 = nb de citations reçues en 2012 par des articles publiés en 2011 et 2010 (33485) ------------------------------------------------------------------------ nb d'articles citables publiés en 2011 et en 2010 (4973) Soit 33485 / 4973 = 6,733 Le facteur d’impact 2012 de cette revue est de 6,733 Le facteur d’impact Impact factor année 2012 = Nombre de citations reçues en 2012 par des articles publiés en 2011 et 2010 Nombre d’articles « citables » publiés en 2011 et 2010
    16. 16. 201020092008 Impact Factor Années précédentes Temps Publications de 2010 Publications citées en 2010, publiées en 2008 et 2009 Le facteur d’impact Schéma d’après Mode de calcul
    17. 17. Où trouver l’information : Journal Citation Reports Le facteur d’impact Le JCR fait partie de l’abonnement de l’UPMC au Web of Science. 3 modes d’accès : • Jubil > Ressources en ligne : les essentiels > Bases de données
    18. 18. Où trouver l’information : Journal Citation Reports Le facteur d’impact Accès contextuel depuis la liste A-Z et le menu du résolveur de liens SFX Ce service n’apparaît que si la revue a un facteur d’impact
    19. 19. Le facteur d’impact Accès depuis le Web of Science Accès contextuel depuis un résultat de recherche Accès depuis le menu en haut de chaque page Où trouver l’information : Journal Citation Reports
    20. 20. Le JCR : Données générales sur une revue Facteur d’impact Eigenfactor indice bibliométrique pondérant le nbre de citations par le prestige des revues dont elles proviennent (cf. infra) Rank et Box Plot analyse du positionnement d’une revue dans la (ou les) catégorie(s) dont elle fait partie Le facteur d’impact
    21. 21. Le JCR : Rank Le facteur d’impact • Situer une revue par rapport aux autres revues de la même discipline • Voir l’évolution de son positionnement dans le temps
    22. 22. Le JCR : Box Plot Le facteur d’impact Facteur d’impact de la revue
    23. 23. Le facteur d’impact Le JCR : Données d’une catégorie de revues NB Par défaut les 2 index Science citation index expanded et Social sciences citation index sont sélectionnés
    24. 24. Le JCR : autres indicateurs Liens de citations • Revue citée - Cited Journal Data identifie les publications qui citent le plus souvent une revue donnée mettre en évidence un réseau de revues • Revue citante - Citing Journal Data identifie les publications le plus souvent citée par une revue donnée mettre en évidence un réseau de revues • Revues connexes - Journal Relationships analyse des liens de citation entre les revues déterminer des proximités sémantiques identifier les liens entre les revues Le facteur d’impact
    25. 25. Le facteur d’impact Cited Journal Graph : comment la revue est-elle citée? Demi-vie de citation Citations utilisées pour calculer le facteur d’impact Le JCR : Cited Journal
    26. 26. Le facteur d’impact Cited Journal Data : comment la revue est-elle citée? En 2013, PloS One est la revue qui a le plus cité la revue Bioinformatics Le JCR : Cited Journal
    27. 27. Le facteur d’impact Visualisation des relations de citation avec les 20 principales revues du réseau de citations de la revue Le JCR : Journal Relationships Survol de l’arc = facteur d’impact de la revue Survol des cordes = nombre de citation à la revue parente
    28. 28. Comparer le positionnement (Quartile) ou l’évolution (Trends) de revues appartenant à une même catégorie Le JCR : Compare Journals Le facteur d’impact Sélectionner les revues et la catégorie
    29. 29. Les limites du facteur d’impact Les limites du facteur d’impact « Like nuclear energy, the impact factor is a mixed blessing. » Eugène Garfield, The agony and the ecstasy - The history and meaning of the journal impact factor
    30. 30. Avis de chercheurs Les limites du facteur d’impact
    31. 31. D’importantes différences entre disciplines % of cites older than 10 years 35% 29% 70% 43%43% 45% 39%39%42% 46% 42% 0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% BehaviouralScience Biom edical& Life Sciences Business & Econom ics C hem istry & M aterials Science C om puterScience Earth & Environm entalScienceEngineering H um anities,Soc.Sci.& Law M ath & Statistics M edicine Physics & Astronom y Antériorité des citations : % d’articles de plus de 10 ans Les limites du facteur d’impact Source : Springer
    32. 32. Densité et temporalité des citations « En biologie moléculaire, il n’est pas rare qu’un article recueille 10 à 30 citations en 2 ans, alors qu’une revue de premier rang en mathématiques n’en recevra que deux ». Manuel Durand-Barthez, L’évaluation des publications scientifiques : nouvelles approches, nouveaux enjeux, 2009 D’importantes différences entre disciplines Les limites du facteur d’impact Source : http://www.eigenfactor.org/whyeigenfactor.php
    33. 33.  Limites du mode de calcul délai de 2 ans du facteur d’impact critiquable, celui de 5 ans également NB : l’impact sur 2 ans reste l’indicateur de référence  Importance des critères éditoriaux • Nombre de fascicules dans l’année • Nombre de pages et d’articles par n° • Type d’article : reviews sont citées 2 fois plus en moyenne Les limites du facteur d’impact
    34. 34. Le facteur d'impact se rapporte à une revue et non à un article. Les articles d'une revue à fort facteur d'impact ne sont pas tous cités de manière identique « Les revues les plus prestigieuses, à facteur d’impact très élevé, contiennent un pourcentage significatif d’articles de qualité moyenne » Rapport de l’Académie des Sciences, op. cit., p.2 Ex de Nature : en 2004, 25% des articles ont constitué 89% du FI Depuis 2008 + de 50% de ses articles ont reçu zéro ou 1 citation. Les limites du facteur d’impact Danger de l’extrapolation
    35. 35. 3. Les modèles alternatifs au facteur d’impact
    36. 36. « fonde le statut d’une page web sur une combinaison des liens qui pointent vers une page et sur le statut des pages dont sont issus ces liens. En prenant en compte à la fois des facteurs de popularité et de prestige, Google a pu éviter d’attribuer des rangs élevés à des pages web populaires mais par ailleurs non pertinentes. » Rodriguez M.A., Bollen J., Van de Sompel H., « Journal Status », Scientometrics, vol. 69, n° 3, 2006, p. 669 revues populaires vs. revues prestigieuses Les modèles alternatifs au facteur d’impact L’algorithme du PageRank : influence weight Narin - 1976
    37. 37. • Conçu par Carl T. Bergström, Université de Washington, 2007 • S’appuie sur le corpus du JCR • Prise en compte d’un « poids » des citations, lié à l’influence relative des revues dans la communauté scientifique • Les auto-citations sont exclues du calcul • Fondé sur les 5 années les plus récentes Eigenfactor Les modèles alternatifs au facteur d’impact
    38. 38. • Eigenfactor Score = mesure de l’influence d’un journal pour la communauté scientifique - influence globale d’une revue Somme des Eingenfactor scores de toutes les revues du JCR = 100 • Article Influence Score = mesure de l’influence moyenne de chaque article sur les 5 dernières années - influence moyenne par article Article Influence Score moyen du JCR = 1 • Cost effectiveness Score = prix/Eigenfactor score Cost effectiveness score moyen = 1 Les modèles alternatifs au facteur d’impact Les indicateurs de l’Eigenfactor
    39. 39. http://www.eigenfactor.org Les modèles alternatifs au facteur d’impact Eigenfactor
    40. 40. http://well-formed.eigenfactor.org Données de 1997 à 2005 Citation patterns : liens de citation entre revues et entre domaines disciplinaires Change over time : évolution du Eigenfactor score Clustering : classement par Article Influence et liens de citation entre revues Map : réseau de citations Clustering
    41. 41. Indicateurs Scopus • Source Normalized Impact per Paper (SNIP) en savoir + : Fiche CoopIST (Cirad) • Impact per Publication (IPP) en savoir + : Fiche CoopIST (Cirad) • SCImago Journal Rank (SJR) en savoir + : Fiche CoopIST (Cirad) Les modèles alternatifs au facteur d’impact
    42. 42.  Fenêtre d’analyse des citations = 3 ans  Différents modes d’accès (gratuits) • Journal Metrics (Elsevier) : SNIP, IPP, SJR • Journal Indicators (Université de Leiden): SNIP et IPP • Scimago Journal & Country Rank (Scimago Lab): SJR et IPP Les modèles alternatifs au facteur d’impact Indicateurs Scopus
    43. 43. SNIP • Objectif : permettre des comparaisons directes entre revues de champs disciplinaires différents • Normalisation a priori : pondération des citations en fonction des disciplines • NB pas de définition a priori de catégories disciplinaires • Ratio nombre de citations/potentiel de citations de la discipline Les modèles alternatifs au facteur d’impact
    44. 44. IPP • Indice équivalent au facteur d’impact : ratio nombre de citations/nombre d’articles • Mais fenêtre d’analyse des citations de 3 ans, couverture Scopus ≠ Web of Science Core Collection, • Mais « articles » a le même sens dans le numérateur et le dénominateur = articles peer-reviewed • = RIP sur Journal Indicators • = Cites/doc (3 years) sur Scimago Journal & Country Rank Les modèles alternatifs au facteur d’impact
    45. 45. SJR • SJR = indice fondé sur le principe de l’Eigenfactor • Objectif = mesurer le prestige des revues, compte les “citations pondérées”, “weighted citations” • Description détaillée : http://www.scimagojr.com/SCImagoJourn alRank.pdf Les modèles alternatifs au facteur d’impact
    46. 46. Scimago - Journal Rankings
    47. 47. Scimago - Country Rankings
    48. 48. Scimago - Compare : revues ou pays Les modèles alternatifs au facteur d’impact
    49. 49. Scimago - The Shape of Science
    50. 50. 4. Le h-index
    51. 51. Jorge E. Hirsch - 2005 An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569-16572. [en ligne sur : dx.doi.org/10.1073/pnas.0507655102 et sur arXiv : http://arxiv.org/abs/physics/0508025] « I propose the index h, defined as the number of papers with citation number ≥h, as a useful index to characterize the scientific output of a researcher. » Un chercheur ayant publié 2 articles cité au moins 2 fois a un indice H de 2. Un chercheur ayant publié 150 articles parmi lesquels 82 ont été cité au moins 82 fois a un indice H de 82. Un chercheur ayant publié 35 articles ne peut pas avoir un indice H supérieur à 35. Définition Le h-index
    52. 52. Le h-index Auteur : Chessor (Own work) [CC BY-SA 3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons Mode de calcul
    53. 53. Le h-index dans le Web of Science Core Collection Le h-index A partir d’une liste de résultats (< 10 000 résultats)
    54. 54. Le h-index La limite qui permet de déterminer l’indice H apparaît dans la liste des résultats Le h-index dans le Web of Science Core Collection
    55. 55. Les limites du h-index Source : Flickr - auteur : fragmented
    56. 56. Le h-index suppose : •une ancienneté de carrière  la comparaison de l’indice H n’a de sens qu’en tenant compte de la « séniorité » des chercheurs concernés, car il augmente avec l’âge •un grand nombre de publications, générant un grand nombre de citations  lien avec l’âge mais aussi la discipline du chercheur Les limites du h-index Les limites du h-index
    57. 57. • Les différences de pratiques entre disciplines sont peu prises en compte : la comparaison n’a de sens que dans un même domaine • Les contributions exactes des auteurs ne sont pas prises en compte : différences majeures entre disciplines (ordre alphabétique ou hiérarchie des contributions) pondérer le h-index par un facteur reflétant le nombre moyen de co-auteurs et le rôle de chacun ? Les limites du h-index Les limites du h-index
    58. 58.  Biologie / Sciences du vivant : entre 5 et 10 signataires, parfois plus • Étudiant ou post-doc qui a fait la manip : 1er signataire • Personne qui lui est la plus proche : 2e signataire • En remontant : directeur du groupe, directeur du labo etc.  validité des indicateurs pour les signataires « du milieu » ?  confusion entre « auteur » et « collaborateur » ?  Géosciences : en général moins de 10 auteurs et encore assez souvent moins de 5. Ordre en général lié à l’importance décroissante des contributions. De plus en plus fréquemment mention des ingénieurs de recherche comme co-auteurs  Mathématiques : plus de la moitié des articles n’ont qu’un seul auteur Exemples Les limites du h-index
    59. 59. Le h-index ne permet pas de faire la différence entre articles très au-dessus ou très au-dessous de l’indice moyen : il ne valorise pas les travaux à très gros impact et/ou à impact durable, « gelés » par l’indice H  Création par Léo Egghe de l’indice G, en 2006, afin de « distinguer l’excellence dans la productivité » (Rapport de l’Académie des Sciences) Un chercheur aura un facteur G de 83 si ses 83 articles les plus cités totalisent au moins 6889 citations, c’est-à- dire G au carré Indice encore peu connu et encore peu utilisé. L’indice G Les limites du h-index
    60. 60. 5. Perspectives
    61. 61.  Part réelle de chaque co-auteur difficile à évaluer  Mauvaises pratiques de citations : références biblio choisies par opportunisme • citations d’articles de la revue dans laquelle on publie, • cartels de citations, • autocitations, etc.  Articles non-cités parce qu’ils sont des quasi- classiques ou parce qu’ils sont très originaux  qualité/impact information/évaluation Perspectives Limites de l’analyse des citations
    62. 62. Les limites de la citation Le top 100 des articles les + cités depuis 50 ans Image en grande dimension Source : Van Noorden R., Maher B., Nuzzo R. « The top 100 papers ». Nature. 29 octobre 2014. Vol. 514, n°7524, p. 550-553. Disponible sur : < http://dx.doi.org/10.1038/514550a > Still, there is one powerful lesson for researchers, notes Peter Moore, a chemist at Yale University in New Haven, Connecticut. “If citations are what you want,” he says, “devising a method that makes it possible for people to do the experiments they want at all, or more easily, will get you a lot further than, say, discovering the secret of the Universe”. = méthodes + logiciels
    63. 63. Altmetrics Les limites de la citation Mesures alternatives (ou alternatives aux mesures) : • usage • recommendantion • partage • réutilisation généralistes, grand public (Twitter) vs. spécialisés, recherche (Mendeley, ResearchGate, blogs scientifiques, etc.) Altmetrics manifesto
    64. 64. Commentaire du top 100 2013 altmetric.com • 58/100 = dans revues sur abonnement • 2è et 4è : sur l’obésité et le sommeil • Parus dans NEJM et Science Différents fournisseurs • Altmetric.com : utilisé par Elsevier et Nature notamment • PLOS : utilisé par Copernicus • Impactstory : utilisable par les chercheurs • Plum Analytics (appartient à Ebsco) Altmetrics Après le h-index, le k-index? Hall, N. The Kardashian index: a measure of discrepant social media profile for scientists. Genome Biology 15, 424 (2014). DOI : 10.1186/s13059-014-0424-0 Perspectives
    65. 65. Source: http://www.phdcomics.com/comics/archive.php?comicid=1737 Doctorat/BibliométriePerspectives
    66. 66. Bibliographie et webographie Perspectives

    ×