Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Les métriques de la science (ou La bibliométrie pour les nuls)

371 vues

Publié le

support de formation

Publié dans : Formation
  • Soyez le premier à commenter

Les métriques de la science (ou La bibliométrie pour les nuls)

  1. 1. Les métriques de la science (ou La bibliométrie pour les nuls) Annaïg Mahé Urfist de Paris septembre 2018
  2. 2.  Métriques et mesures de la science  Contexte et définitions  Acteurs et indicateurs  Le Web of Science et ses indicateurs  L’Eigenfactor  Scopus et ses indicateurs  SCImago Journal Rank  Google Scholar  Des métriques traditionnelles de la science aux métriques alternatives  Nouvelles formes : de production, de communication, de mesures  Comment ça marche  Acteurs et outils
  3. 3. Métriques et mesures de la science
  4. 4. Métriques et mesures de la science / Contexte et définitions Bibliométrie application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication Pritchard, 1969
  5. 5. Les prémisses du concept de bibliométrie remonteraient au début du XIXème siècle. Depuis ce temps, les fondements, les techniques, les applications des méthodes bibliométriques ont grandement évolué grâce à de nombreuses expérimentations. Cette abondance de travaux et surtout la variété des objectifs recherchés ont rendu confuse l'idée que l'on peut se faire de la bibliométrie. À un tel point que les spécialistes eux-mêmes ont des difficultés à se mettre d’accord sur des notions aussi cruciales que la terminologie employée (bibliométrie, scientométrie, infométrie, technométrie), sur les limites de sa mise en application (bibliothéconométrie, évaluation de la recherche, sociologie de la science, évaluation macro-économique, sociologie de l'innovation, veille technologique, traitement du langage naturel) (…). Hervé Rostaing, La bibliométrie et ses techniques, 1996 https://hal.archives-ouvertes.fr/hal-01579948/ Métriques et mesures de la science / Contexte et définitions
  6. 6. Bibliométrie = champ de recherche Initialement utilisée en gestion documentaire et recherches bibliographiques puis application à l’évaluation de la recherche Métriques et mesures de la science / Contexte et définitions
  7. 7. Bibliométrie = champ de recherche Initialement utilisée en gestion documentaire et recherches bibliographiques puis application à l’évaluation de la recherche Evaluation de la recherche Outil de pilotage (laboratoire, établissement, national) Basée sur les indicateurs disponibles (budget, financement, ressources humaines, production, valorisation) Métriques et mesures de la science / Contexte et définitions
  8. 8. http://paris-sorbonne.libguides.com/infometrie
  9. 9. Wildgaard, Lorna, Jesper W. Schneider, and Birger Larsen, ‘A Review of the Characteristics of 108 Author-Level Bibliometric Indicators’, Scientometrics, 101 (2014), 125–58 https://doi.org/10.1007/s11192-014-1423-3 cf supplementary material : Liste d'indicateurs "auteur" Vous reprendrez bien quelques indicateurs ?
  10. 10. Deux types de métriques appliquées à l’information scientifique et technique 1. Dénombrement de la production scientifique et technologique 2. Usage de la production scientifique
  11. 11. Part de la France, des Etats-Unis et de la Chine dans les publications du monde, toutes disciplines (OST, 2013) Part des publications en mathématiques en Europe (OST, 2013) France Etats-Unis Chine 2012 3,6 % 22,6 % 12,6% 2002 4,8% 22,9% 3,8% Allemagne Espagne France 2012 14,4 % 9,5 % 17,8% 2002 17,6% 9,0% 20,3% Part des publications scientifiques nombre de publications d’un acteur donné (institution, pays) // nombre de publications publiées la même année pour un espace de référence donné (le monde par exemple) Part des demandes de brevets publiés Allemagne France Royaume-Uni 2012 17,8% 6,4% 4,4% 2002 19,9% 6,7% 5,3% Part mondiale des demandes de brevets européens (OST, 2013) Métriques et mesures de la science / Contexte et définitions / dénombrement de la production scientifique et technologique
  12. 12. Indice de spécialisation des publications scientifiques proportion des publications annuelles d’un acteur (labo) dans une discipline // proportion des publications de la zone de référence pour la même discipline Indice de spécialisation >1 : acteur est plus spécialisé dans la discipline que la zone de référence étudiée Plus sa valeur est importante, plus il est spécialisé Allemagne Espagne France 2012 0,91 1,11 1,58 2002 0,99 1,39 1,58 Indice de spécialisation mondial en mathématiques (OST, 2013) Indice de spécialisation des brevets publiés Allemagne France Royaume-Uni 2012 0,86 0,90 1,18 2002 0,93 0,99 1,11 Indice de spécialisation mondial en chimie-matériaux, d’après les brevets européens délivrés (OST, 2013) Métriques et mesures de la science / Contexte et définitions / dénombrement de la production scientifique et technologique
  13. 13. Analyse informatisée des réseaux de citations des articles dès les années 60 Impact des articles, revues, auteurs difficulté à recenser de manière non ambiguë la production des chercheurs Métriques et mesures de la science / Contexte et définitions / Usage de la production scientifique Mesure du degré d’utilisation de la production scientifique • Consultation et circulation des articles • Fréquence des citations reçues Mesures produites à partir des bases de données  Web of Science (depuis les années 60 : Institute of Scientific Information)  Scopus depuis 2004
  14. 14. https://www.degruyter.com/view/j/libr Libri. International Journal of Libraries and Information Studies Web of science Scopus Centre for Science and Technology Studies Scopus (SNIP : Indicateur créé par le Centre for Science and Technology Studies, Université de Leyde) SCImago (données Scopus)
  15. 15. Eugene Garfield le 27 février 2016 Science. 1955;122:108-11 Science. 1972;178:471-9 Création du Journal Impact Factor Au départ, repérage des revues les plus pertinentes d’une discipline Puis devenu dans certaines disciplines le principal indicateur de notoriété des revues Plus l’audience d’une revue est grande, plus son facteur d’impact peut être élevé
  16. 16. https://www.bibl.ulaval.ca/services/bibliometrie/indicateurs-et-sources/tableau-comparatif
  17. 17. Web of Science - Initialement bases de l’Institute for Scientific Information – ISI Fondé par Eugene Garfield dans les années 60 - Racheté par Thomson Reuters en 1992 - Vendu à Clarivate Analytics en 2016
  18. 18. Web of Science  Science Citation Index 1963, + 8000 titres, 73 revues françaises, 3 en français)  Social Science Citation Index 1972, +3000 titres, dont 26 revues françaises)  Arts and Humanities Citation Index 1975, +1500 titres, dont 70 revues françaises)  Emerging Sources Citation Index 2015, +5000 titres)
  19. 19. https://clarivate.com/products/journal-citation-reports/
  20. 20. https://clarivate.com/products/journal-citation-reports/
  21. 21. Le facteur d’impact Le facteur d’impact (FI) et ses indicateurs associés pour évaluer la notoriété d’une revue, en 7 points, CIRAD, 2014,http://url.cirad.fr/ist/facteur-impact-indicateurs-associes in 2006
  22. 22. Byl Lauren, Jana Carson, Annamaria Feltracco, Susie Gooch, Shannon Gordon, Tim Kenyon, and others, ‘White Paper: Measuring Research Outputs Through Bibliometrics’, 2016 https://doi.org/10.13140/RG.2.1.3302.5680
  23. 23. Âge des citations à partir d’articles publiés en 2003 : les citations vers des articles publiés en 2001- 2002 sont celles qui contribuent au facteur d’impact; les autres ne sont pas prises en compte
  24. 24. http://www.uksg.org/sites/uksg.org/files/19-Cross-H76M463XL884HK78.pdf
  25. 25. Les autres indicateurs Quartiles Pour un domaine donné, les revues sont classées selon leur FI Premier quartile = 25% des premiers facteurs d’impact = revues à forte notoriété
  26. 26. Les autres indicateurs Le facteur d’impact (FI) et ses indicateurs associés pour évaluer la notoriété d’une revue, en 7 points, CIRAD, 2014,http://url.cirad.fr/ist/facteur-impact-indicateurs-associes Baudoin et al., Indicateurs bibliométriques, M/S : médecine sciences, vol. 20, n° 10, 2004, 909-915, http://id.erudit.org/iderudit/009339ar Indice d’immédiateté (Immediacy Index) Pour une revue, indique la rapidité avec laquelle un article est cité (nombre de citations reçues en année N / nombre d’articles publiés la même année) Indice d’immédiateté agrégé (Aggregate Immediacy Index) Même chose pour un domaine donné Demi-vie de citation (Cited Half-Life) Pour une revue, indique l’âge médian des articles qui ont été cités et rend compte de la persistance de sa notoriété à long-terme (durée au-delà de laquelle la moitié des articles de l’année de référence cesse d’être citée. EX : 6,9 (ans) pour Nature en 2002 Demi-vie de citation agrégée (Aggregate Cited Half-Life) Même chose pour un domaine donné Quartiles Pour un domaine donné, les revues sont classées selon leur FI Premier quartile = 25% des premiers facteurs d’impact = revues à forte notoriété
  27. 27. West Lab + Bergstrom Lab Dept. Of Biology University of Washington Acteur Maison-mère / filiales Produits en lien avec l’IST Partenariats avec outils de métriques librement accessibles
  28. 28. Créé par Carl Bergstrom et Jevin West, introduit en 2007 dans le JCR Données issues du JCR + données du site journalprices.com Basé sur le même type de concept que celui du Google Page Rank Métriques accessibles sur le site eigenfactor.org 6 mois après leur publication dans le JCR Pourcentage de l’influence totale du réseau de citations Exclusion des auto-citations (citations d’articles de la revue par des articles de la même revue)
  29. 29. Eigenfactor pour Revue Y = nombre citations reçues* pendant 5 ans ----------------------------------------------------------- nombre citations reçues par les articles du JCR sur la même période *citations reçues par la revue pondérées par l’eigenfactor des revues des articles citants Valeurs normalisées : la somme des valeurs de l’Eigenfactor de toutes les revues du JCR = 100 Les 1000 revues les plus cotées ont un EF > à 0,01 Nature EF 2014 = 1.5, signifie que cette revue représente 1,5% de l’influence totale du réseau de citations Possibilité d’utiliser l’EF pour l’influence des revues, auteurs, institutions et pays (cf SSRN)
  30. 30. Eigenfactor normalisé Eigenfactor multiplié par le nombre de revues du domaine comptabilisé la même année Score moyen d’un titre du JCR = 1 (addition des scores de chaque titre = nombre des titres du JCR) Nature Efn 2015 = 167 Signifie que Nature a 167 fois plus d’influence qu’un titre moyen du JCR EF 2014 Efn (2015) Nature 1.5 167 PLOS One 1.53 171 AJP-Renal Physiology 0.028 3
  31. 31. Article Influence Score (AIS) Calcule le rapport entre l’Eigenfactor de la revue et le nombre d’articles publiés par cette revue sur la même période AIS moyen = 1, un AIS >1 indique une influence importante Reviews of Modern Physics AIS 2011 = 28.9002 Signifie que l’article moyen de cette revue a 28 fois l’influence de l’article moyen dans le JCR EF 2014 AIS 2014 Efn (2015) Nature 1.5 21.9 167 PLOS One 1.53 1.2 171 AJP-Renal Physiology 0.028 1.1 3
  32. 32. Scopus
  33. 33. Scopus Base de données bibliographiques payante lancée par Elsevier en 2004 Référence 21 000 titres de revues Propose CiteScore Metrics depuis fin 2016 Calcul proche du FI du Wos Sur 3 ans, données de l’année précédente, mise à jour annuelle Intègre tous les documents potentiellement citables (ce qui a tendance à faire baisser le score de certains titres) Exemple : The Lancet FI : 44 CS : 7,7 CiteScore Tracker : équivalent du CS mais sur les données de l’année en cours, mise à jour mensuelle
  34. 34. Facteur d’impact : Cf+CR / Nr Toutes les citations vers la revue sont prises en compte, mais seulement les articles de recherche sont comptabilisés CiteScore : Cf+Cr / Nf+Nr Toutes les citations vers la revue sont prises en compte, ainsi que tous les éléments susceptibles de recevoir des citations (même s’ils sont souvent moins cités que les articles de recherche)
  35. 35. Source normalized impact per paper (SNIP) : Créé par Henk Moed du Centre for Science and Technology Studies (CWTS), Université de Leyde Mesure contextuelle de l’impact de citation d’une revue : Nombre de citations d’une revue par article / potentiel de citation du domaine de la revue (plus une liste de références est longue, moindre est la valeur d’une référence) Définition (CIRAD, 2017) Impact de citation d’une revue dans un champ disciplinaire donné. Un champ disciplinaire d’une revue J est défini par l’ensemble des articles qui citent la revue J et donc l’ensemble des revues auxquels appartiennent ces articles. Le SNIP d’une revue J est le rapport entre le nombre de citations reçues par les articles de J publiés pendant les 3 années précédentes divisé par le nombre d’articles publiés par J pendant la même période, et le potentiel de citation dans le champ disciplinaire de la revue J. Le potentiel de citation indique la fréquence à laquelle les articles dans le champ disciplinaire d’une revue citent d’autres articles publiés dans les 3 années précédentes. Normalisé, une revue médiane dans son champ disciplinaire a un potentiel de citation de 1.
  36. 36. West Lab + Bergstrom Lab Dept. Of Biology University of Washington Acteur Maison-mère / filiales Produits en lien avec l’IST Partenariats avec outils de métriques librement accessibles SCImago Consejo Superior de Investigaciones Cientificas (CSIC) University of Granada
  37. 37. Développé par une équipe de recherche du Conseil supérieur des recherches scientifiques (CSIC, Espagne) Données issues de Scopus, accès gratuit (données 2017) Calcul basé sur le modèle du PageRank http://www.scimagojr.com/
  38. 38. Facteur d’impact : mesure de la popularité EF, SJR, AIS : mesure de l’influence Différences entre Eigenfactor et Scimago Journal Rank Eigenfactor SJR Taille du réseau 11 000 titres (Wos) 21 000 titres (Scopus- Elsevier) Fenêtre de citation 5 ans 3 ans Auto-citations non Oui (max 1/3 des citations reçues)
  39. 39. Scimago Journal & Country Rank
  40. 40. Scimago Journal & Country Rank SJR (Scimago Journal Rank) Nombre moyen des citations pondérées reçues dans une année donnée par les documents d’une revue publiés les 3 années précédentes Index h : nombre h d’articles d’une revue ayant reçu au moins h citations (depuis 2005) Citable documents : uniquement articles, synthèses et articles de conférence Cited documents : nombre de documents cités au moins une fois dans les 3 années précédentes Uncited documents : nombre de documents non cités dans les 3 années précédentes Total references : nombre total de références bibliographiques dans une revue sur la période sélectionnée References per document : nombre moyen de références par document pour l’année sélectionnée
  41. 41. Index h - Quel est l’index h d’une revue ayant 5 articles ayant été cités respectivement 17, 9, 6, 3 et 2 fois ?
  42. 42. http://www.bibliothequescusm.ca/formations-et-conseils/guides-et-tutoriels/quel-est-votre-impact-en-savoir-plus-sur-lindice-h/
  43. 43. Index h - Quel est l’index h d’une revue ayant 5 articles ayant été cités respectivement 17, 9, 6, 3 et 2 fois ? Réponse : 3
  44. 44. West Lab + Bergstrom Lab Dept. Of Biology University of Washington Acteur Maison-mère / filiales Produits en lien avec l’IST Partenariats avec outils de métriques librement accessibles SCImago Consejo Superior de Investigaciones Cientificas (CSIC) University of Granada
  45. 45. Résumé des citations récentes pour des revues et des articles scientifiques Ne couvre que les articles publiés entre 2012 et 2016 inclus Métriques basées sur les citations pour tous les articles indexés par GS en juin 2017 Critères d’inclusion - Articles de revues provenant de sites respectant les critères d’inclusion de GS - Sélection d’articles de conférences en informatique et sciences de l’ingénieur - Preprints d’arXiv et de NBER (économie) Critères d’exclusion - jugements, brevets, ouvrages, mémoires - Publications ayant moins de 100 articles publiés entre 2012 et 2016 - Publications n’ayant reçu aucune citation pour des articles publiés entre 2012 et 2016
  46. 46. Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais)
  47. 47. Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais)
  48. 48. Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais) Indice h5 : indice h des articles publiés au cours des cinq dernières années révolues. Il correspond à la valeur la plus élevée de h de façon que h articles publiés entre 2012 et 2016 sont cités au moins h fois chacun Médiane h5 : nombre moyen de fois que les articles composant son indice h5 sont cités
  49. 49. Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais) Indice h5 : indice h des articles publiés au cours des cinq dernières années révolues. Il correspond à la valeur la plus élevée de h de façon que h articles publiés entre 2012 et 2016 sont cités au moins h fois chacun Médiane h5 : nombre moyen de fois que les articles composant son indice h5 sont cités H-core : ensemble des articles h les plus cités de la revue GS publie la liste des articles h5-core pour chaque revue
  50. 50. Carl Boettiger
  51. 51. scholar.google.com
  52. 52. https://www.wageningenur.nl Step 1: Profile
  53. 53. https://www.wageningenur.nl Step 2: Articles
  54. 54. Step 3: Updates https://www.wageningenur.nl
  55. 55.  Quantitative evaluation should support qualitative, expert assessment  Measure performance against the research missions of the institution, group, or researcher  Protect excellence in locally relevant research  Keep data collection and analytical processes [about research] open, transparent, and simple  Allow those evaluated to verify data and analysis [about their work]  Account for variation by field in publication and citation practices  Base assessment of individual researchers [at an institutional level] on a qualitative judgement of their portfolio  Avoid misplaced concreteness and false precision [of quantitative methods of data collection]  Recognize the systemic effects of assessment and indicators and preference a “suite of indicators” over a single metric such as journal impact factor  Scrutinize indicators regularly and update them to reflect changing research ecosystems.
  56. 56. Quid des sciences humaines et sociales ?  Limites du FI : majorité de revues anglophones recensées par le Wos (~ 3000 en sciences sociales (dont 26 françaises), ~1500 en arts et lettres (dont 70 françaises)  Supports de publication privilégiés : revues nationales + ouvrages (surtout dans certaines disciplines, en France)  Absence de bases de données recensant les revues en shs  + difficultés de définir clairement une revue « scientifique » en shs (pas aussi formalisées qu’en STM et pas toujours de processus de validation par les pairs : expertise des articles avant publication)
  57. 57. Quid des sciences humaines et sociales ?  Évolutions en cours  Glissement des pratiques STM vers SHS  Augmentation de la pratique de l’article et de la revue  Anglicisation des publications (revues « internationales », collaborations, etc.)  colloque « Evaluation des productions scientifiques : des innovations en SHS », 9- 10 juin 2011, initiative de l’Institut national SHS (InShs) du CNRS  STM vs SHS ?  Passerelles de plus en plus courantes sciences-sociétés et rôle des SHS  Nécessité de prendre en compte la valeur ajoutée des Shs
  58. 58. Quid des sciences humaines et sociales ?  Possibilités d’utiliser des d’outils spécifiques :  Listes disciplinaires de revues validées par l’HCERES – Haut conseil d’évaluation de l’enseignement supérieur et la recherche (pas de mise à jour récente, sauf pour économie-gestion)  Listes disciplinaires de l’ERIH – European Research Index for the Humanities, proposées par European Science Fondation – ESF en 2002 puis évolution des critères de sélection en 2014  JournalBase : base de données recensant les informations d’indexation des revues shs (HCERES, WOS et Scopus – base d’Elsevier concurrente du WOS)  2008, InShs  Référentiel RIBAC (CNRS, 2009) : Recueil d’Informations pour un oBservatoire des Activités des Chercheurs en shs  Caractérisation plutôt qu’évaluation
  59. 59. Des métriques « traditionnelles » aux métriques alternatives  Nouvelles formes  de production, de communication, de mesures
  60. 60. NOUVELLES FORMES DE PRODUCTION SCIENTIFIQUE Codes, logiciels Variété de nouveaux types de supports
  61. 61. Plum X http://plumanalytics.com/learn/about-artifacts/
  62. 62. Référentiel d’évaluation des unités de recherche (pdf) : Typologie des produits et activités de la recherche http://www.hceres.fr/index.php/content/download/28678/439608/file/Referentiel%20UR.pdf
  63. 63. + ÉVOLUTIONS DE LA SCIENCE - de l’impact scientifique à l’impact sociétal - ouverture à des légitimités extérieures NOUVELLES FORMES DE COMMUNICATION ET DE PARTAGE
  64. 64. création et étude de nouvelles métriques basées sur le web social pour analyser et documenter la science
  65. 65. 2010 : un « manifeste » pour les métriques alternatives  « Personne ne peut tout lire »  Intérêt mais limites du « peer-reviewing » (lent, ne permet plus le filtrage du volume publié)  Décompte des citations utiles mais insuffisant (non prise en compte de l’impact large)  Facteur d’impact # évaluation de l’article  Les altmetrics : les filtres de demain  Production scientifique :  + large : articles, + data + code, etc.  granularité plus fine des unités de citation  auto-publication (blogs, commentaires, annotations)  Une feuille de route  Expérimentations et recherche  Développement d’applications, de méthodes et de métriques  Développement de l’analyse sémantique du contexte de la citation  « comment et pourquoi » et pas seulement « combien »
  66. 66. Comment ça marche ? Trouver et agréger les traces d’usage Identifiants Digital object identifier (DOI) ISBN • PMID • arXiv ID • URL • etc.
  67. 67. Exemples de DOI http://dx.doi.org/10.5061/dryad.f6c34 : ensemble de données sur Dryad http://dx.doi.org/10.1126/science.1250092 : article dans la revue Science doi: 10.1126/science.1250092 : autre forme valide de DOI http://dx.doi.org/10.6084/m9.figshare.1286826 : poster sur Figshare
  68. 68. Comment ça marche ? Trouver et agréger les traces d’usage Identifiants Digital object identifier (DOI) ISBN • PMID • arXiv ID • URL • etc. Métriques collectées Vues Mentions Citations Partages Recommandations Téléchargements Sauvegardes Commentaires Notes Classements Etc.
  69. 69. Comment ça marche ? Une production scientifique (article, jeu de données, etc.) Un identifiant associé à la production (DOI, URL, ORCID, etc.) Des mentions dans les sources suivies Une API sur les sources suivies Aline Bouchard, Réseaux sociaux académiques et nouvelles métriques de la recherche, Lundis du numérique de l’Inha, 14 mars 2016, https://issuu.com/inha-paris/docs/bouchard_inha_lundisnumeriques_1403?e=0 Inspiré du site Altmetric.com : https://www.altmetric.com/about-our-data/how-it-works/
  70. 70. Types de sources Exemples de sources Catalogues et bases de données commerciales ou à but non lucratif Amazon, Goodreads, Worldcat, Scopus, Web of Science, Ebsco, PubMed, CrossRef, DataCite, PLoS, Copernicus Réseaux sociaux et moteurs académiques Facebook, Twitter, Google+, LinkedIn, Google Scholar, Microsoft Academic Search, F1000Prime Réseaux de signets CiteULike, Delicious, Reddit, Pinterest, Instagram outils de gestion des références bibliographiques Mendeley, Zotero dépôts de données (et autres types de documents) Dryad, Figshare sites de dépôts de logiciels Github, SourceForge, StackOverflow archives ouvertes dSpace, ePrints, ArXiv, RePec, SSRN, PubMed Central, PubMed Central Europe sites de vidéos et de présentations Youtube, Vimeo, Slideshare bases de brevets UPSTO Blogs ResearchBlogging, ScienceSeeker, GoogleBlogs, Nature Blogs, WordPress.com, OpenEdition Autres Wikipedia, Bit.ly Sources des données
  71. 71. PLOS Vues : PLOS Journals (HTML, PDF, XML), PubMed Central (HTML, PDF) Sauvegardes : CiteULike, Mendeley Citations : CrossRef, Datacite, Europe PMC, PubMed Central, Scopus, Web of Science Recommandations : F1000 Prime Discussions : PLOS Comments, Facebook, Reddit, Twitter, Wikipedia http://plumanalytics.com/learn/about-metrics/
  72. 72.  fournir des informations supplémentaires  réduire l’importance de métriques qui peuvent être inappropriées (comme le seul classement des revues)  refléter l’impact des travaux qui viennent d’être publiés  légitimer tous les types de productions scientifiques  reconnaître une diversité de types d’impact (par exemple, un apport méthodologique ou une controverse)  récompenser les efforts réalisés pour faciliter la réutilisation des produits  encourager la reconnaissance de l’engagement public  faciliter l’exploration qualitative de l’impact  faciliter le choix de la publication  développer l’innovation dans l’évaluation de la recherche  Outil de découverte et de navigation  Démonstration de l’impact  Outil de veille stratégique et d’évaluation
  73. 73. Une légitimité en construction  Différents usages pour différents acteurs  Différences entre plateformes : sources, valeurs, objectifs, etc.  Sources récentes, évolutives  Variété des aires linguistiques et disciplinaires  + sources anglophones, STM  pratiques de citations, usages des médias sociaux  Impact = attention # qualité  Impact académique / grand public  Evolution vers des métriques ouvertes ? The Metric Tide (HEFCE): pour des « métriques responsables »  Robustesse  Humilité  Transparence  Diversité  Réflexivité Google Trends pour « bibliometrics » (bleu) vs « altmetrics » (rouge) Research Trends, 2014
  74. 74. Acteurs et outils Service / outil Création Acteur(s) Type d’acteur PLoS Article- Level Metric 2009 Public Library of Science Éditeur en libre accès (not for profit) Altmetric.com 2011 Digital Science (depuis 2012) Société privée (for profit) Plum Analytics 2011 Elsevier (depuis 2017) Société privée (for profit) ImpactStory 2011 Heather Piwowar Jason Priem Projet (not for profit) Dimensions 2018 Digital Science Société privée (for profit)
  75. 75. PLos ALM Public Library of Science – Article-Level Metrics Éditeur à but non lucratif Premier à proposer des métriques au niveau de l’article : évaluation a posteriori Logiciel libre : Lagotto : collecte et agrégation des données Implémenté par d’autres éditeurs sur leur propre site Copernicus eLife
  76. 76. Public Library of Science – PLoS Article Level Metrics - ALM http://www.bagtheweb.com/b/s9FQW2
  77. 77. Altmetric https://www.altmetric.com/ ne pas confondre avec le site Altmetrics Start-up fondée en 2011 par Euan Adie Services aux éditeurs, institutions, entreprises Explorer, badges, API Accès gratuits Badges pour archives institutionnelles, pour chercheurs Explorer pour bibliothécaires (pas de vues institutionnelles) API pour des projets de recherche
  78. 78. Altmetric.com - ses beignets (donuts) - son bookmarklet (gratuit) - son API Altmetric score = somme pondérée de la quantité d’attention reçue par un article
  79. 79. http://www.bagtheweb.com/b/s9FQW2
  80. 80. Plum Analytics 2011, rachetée par Ebsco en 2014, par Elsevier en 2017 Services payants pour les institutions de recherche, financeurs Agrégation des données afin de proposer des indicateurs au niveau d’un laboratoire, d’une institution ou de tout autre groupe significatif : Plum X se positionne comme un outil de veille stratégique pour les institutions, leur permettant de faire des bilans sur leurs programmes de financements (reçus ou donnés, via PlumX+Grants), d’établir des comparaisons avec d’autres organismes (PlumX Benchmarks) de rechercher des opportunités de financement (PlumX Funding Opportunities)
  81. 81. Plum Analytics – PlumX Les chercheurs ne comptent pas pour des prunes…
  82. 82. http://www.bagtheweb.com/b/s9FQW2
  83. 83. Impactstory Fondée par Heather Piwowar et Jason Priem Agrégation de données pour proposer des profils de chercheurs Service gratuit aux chercheurs http://www.bagtheweb.com/b/s9FQW2
  84. 84. Acteur Maison-mère / filiales Produits en lien avec l’IST Outils Altmetrics ?
  85. 85. Développé par Digital Science depuis janvier 2018 Produit également ReadCube, Altmetric, Figshare, Symplectic, ÜberResearch Système de recherche d’information Réponse aux systèmes fermés basés sur les publications et les citations Développé en collaboration avec plus de 100 institutions de recherche Données sur 128 millions de publications, financements, politiques, données et métriques et 4 milliards de connexions Mise à disposition (gratuite pour chercheurs, payante pour institutions) de données de citations via l’application Dimensions https://www.dimensions.ai et via des API Métriques disponibles via l’API Dimensions Metrics et les Badges Dimensions : https://badge.dimensions.ai Réservés à des usages non-commerciaux Volonté d’ouverture et de partenariat avec la communauté scientifique
  86. 86. Données sur Dimensions (janvier 2018) Données arrondies Nombre de publications enregistrées 90 millions Nombre de projets financés 3,7 millions Nombre d’essais cliniques 400 000 Nombre de brevets 35 millions Nombre d’enregistrements avec des données Altmetric 9 millions Nombre total de documents 130 millions Nombre de liens entre ces documents 4 milliards Dimensions Liens développés via apprentissage machine et IA
  87. 87. Altmetrics Parcours en ligne http://www.bagtheweb.com/b/s9FQW2

×