SlideShare une entreprise Scribd logo
1  sur  118
Télécharger pour lire hors ligne
Les métriques de la science
(ou La bibliométrie pour les nuls)
Annaïg Mahé
Urfist de Paris
septembre 2018
 Métriques et mesures de la science
 Contexte et définitions
 Acteurs et indicateurs
 Le Web of Science et ses indicateurs
 L’Eigenfactor
 Scopus et ses indicateurs
 SCImago Journal Rank
 Google Scholar
 Des métriques traditionnelles de la science aux métriques
alternatives
 Nouvelles formes : de production, de communication, de mesures
 Comment ça marche
 Acteurs et outils
Métriques et mesures de la science
Métriques et mesures de la science / Contexte et définitions
Bibliométrie
application des mathématiques et des
méthodes statistiques aux livres, articles et
autres moyens de communication
Pritchard, 1969
Les prémisses du concept de bibliométrie remonteraient au début du XIXème siècle. Depuis ce temps,
les fondements, les techniques, les applications des méthodes bibliométriques ont grandement
évolué grâce à de nombreuses expérimentations. Cette abondance de travaux et surtout la variété
des objectifs recherchés ont rendu confuse l'idée que l'on peut se faire de la bibliométrie. À un tel
point que les spécialistes eux-mêmes ont des difficultés à se mettre d’accord sur des notions aussi
cruciales que la terminologie employée (bibliométrie, scientométrie, infométrie, technométrie), sur
les limites de sa mise en application (bibliothéconométrie, évaluation de la recherche, sociologie de
la science, évaluation macro-économique, sociologie de l'innovation, veille technologique,
traitement du langage naturel) (…).
Hervé Rostaing, La bibliométrie et ses techniques, 1996
https://hal.archives-ouvertes.fr/hal-01579948/
Métriques et mesures de la science / Contexte et définitions
Bibliométrie = champ de recherche
Initialement utilisée en gestion documentaire et
recherches bibliographiques
puis application à l’évaluation de la recherche
Métriques et mesures de la science / Contexte et définitions
Bibliométrie = champ de recherche
Initialement utilisée en gestion documentaire et
recherches bibliographiques
puis application à l’évaluation de la recherche
Evaluation de la recherche
Outil de pilotage (laboratoire, établissement, national)
Basée sur les indicateurs disponibles (budget,
financement, ressources humaines, production,
valorisation)
Métriques et mesures de la science / Contexte et définitions
http://paris-sorbonne.libguides.com/infometrie
Wildgaard, Lorna, Jesper W. Schneider, and Birger Larsen, ‘A Review of the Characteristics of 108 Author-Level
Bibliometric Indicators’, Scientometrics, 101 (2014), 125–58 https://doi.org/10.1007/s11192-014-1423-3
cf supplementary material : Liste d'indicateurs "auteur"
Vous reprendrez bien quelques indicateurs ?
Deux types de métriques appliquées à l’information scientifique et technique
1. Dénombrement de la production scientifique et technologique
2. Usage de la production scientifique
Part de la France, des Etats-Unis et de
la Chine dans les publications du
monde, toutes disciplines (OST, 2013)
Part des publications en mathématiques en
Europe (OST, 2013)
France Etats-Unis Chine
2012 3,6 % 22,6 % 12,6%
2002 4,8% 22,9% 3,8%
Allemagne Espagne France
2012 14,4 % 9,5 % 17,8%
2002 17,6% 9,0% 20,3%
Part des publications
scientifiques
nombre de publications d’un acteur
donné (institution, pays)
// nombre de publications publiées la
même année pour un espace de
référence donné (le monde par
exemple)
Part des demandes de brevets
publiés
Allemagne France Royaume-Uni
2012 17,8% 6,4% 4,4%
2002 19,9% 6,7% 5,3%
Part mondiale des demandes de brevets
européens (OST, 2013)
Métriques et mesures de la science / Contexte et définitions /
dénombrement de la production scientifique et technologique
Indice de spécialisation des publications scientifiques
proportion des publications annuelles d’un acteur (labo) dans une
discipline // proportion des publications de la zone de référence
pour la même discipline
Indice de spécialisation >1 : acteur est plus spécialisé dans la
discipline que la zone de référence étudiée
Plus sa valeur est importante, plus il est spécialisé
Allemagne Espagne France
2012 0,91 1,11 1,58
2002 0,99 1,39 1,58
Indice de spécialisation mondial en
mathématiques (OST, 2013)
Indice de spécialisation des brevets publiés
Allemagne France Royaume-Uni
2012 0,86 0,90 1,18
2002 0,93 0,99 1,11
Indice de spécialisation mondial en
chimie-matériaux, d’après les brevets
européens délivrés (OST, 2013)
Métriques et mesures de la science / Contexte et définitions /
dénombrement de la production scientifique et technologique
Analyse informatisée des réseaux de citations
des articles dès les années 60
Impact des articles, revues, auteurs
difficulté à recenser de manière non ambiguë
la production des chercheurs
Métriques et mesures de la science / Contexte et définitions /
Usage de la production scientifique
Mesure du degré d’utilisation de la production
scientifique
• Consultation et circulation des articles
• Fréquence des citations reçues
Mesures produites à partir des bases de données
 Web of Science (depuis les années 60 : Institute of Scientific Information)
 Scopus depuis 2004
https://www.degruyter.com/view/j/libr
Libri. International Journal of Libraries and Information Studies
Web of science
Scopus
Centre for Science and
Technology Studies
Scopus
(SNIP : Indicateur créé par le Centre for Science
and Technology Studies, Université de Leyde)
SCImago (données Scopus)
Eugene
Garfield
le 27 février 2016
Science. 1955;122:108-11
Science. 1972;178:471-9
Création du Journal Impact Factor
Au départ, repérage des revues les plus pertinentes d’une discipline
Puis devenu dans certaines disciplines le principal indicateur de
notoriété des revues
Plus l’audience d’une revue est grande, plus son facteur d’impact peut
être élevé
https://www.bibl.ulaval.ca/services/bibliometrie/indicateurs-et-sources/tableau-comparatif
Web of Science
- Initialement bases de l’Institute for Scientific Information – ISI
Fondé par Eugene Garfield dans les années 60
- Racheté par Thomson Reuters en 1992
- Vendu à Clarivate Analytics en 2016
Web of Science
 Science Citation Index
1963, + 8000 titres, 73 revues françaises, 3 en français)
 Social Science Citation Index
1972, +3000 titres, dont 26 revues françaises)
 Arts and Humanities Citation Index
1975, +1500 titres, dont 70 revues françaises)
 Emerging Sources Citation Index
2015, +5000 titres)
https://clarivate.com/products/journal-citation-reports/
https://clarivate.com/products/journal-citation-reports/
Le facteur d’impact
Le facteur d’impact (FI) et ses indicateurs associés pour évaluer la notoriété d’une revue, en 7 points, CIRAD, 2014,http://url.cirad.fr/ist/facteur-impact-indicateurs-associes
in 2006
Byl Lauren, Jana Carson, Annamaria Feltracco, Susie Gooch, Shannon Gordon, Tim Kenyon, and others, ‘White
Paper: Measuring Research Outputs Through Bibliometrics’, 2016 https://doi.org/10.13140/RG.2.1.3302.5680
Âge des citations à partir d’articles publiés en 2003 : les citations vers des articles publiés en 2001-
2002 sont celles qui contribuent au facteur d’impact; les autres ne sont pas prises en compte
http://www.uksg.org/sites/uksg.org/files/19-Cross-H76M463XL884HK78.pdf
Les autres indicateurs
Quartiles
Pour un domaine donné, les revues sont classées selon leur FI
Premier quartile = 25% des premiers facteurs d’impact = revues à forte notoriété
Les autres indicateurs
Le facteur d’impact (FI) et ses indicateurs associés pour évaluer la notoriété d’une revue, en 7 points, CIRAD, 2014,http://url.cirad.fr/ist/facteur-impact-indicateurs-associes
Baudoin et al., Indicateurs bibliométriques, M/S : médecine sciences, vol. 20, n° 10, 2004, 909-915, http://id.erudit.org/iderudit/009339ar
Indice d’immédiateté (Immediacy Index)
Pour une revue, indique la rapidité avec
laquelle un article est cité (nombre de
citations reçues en année N / nombre
d’articles publiés la même année)
Indice d’immédiateté agrégé (Aggregate
Immediacy Index)
Même chose pour un domaine donné
Demi-vie de citation (Cited Half-Life)
Pour une revue, indique l’âge médian des
articles qui ont été cités et rend compte de
la persistance de sa notoriété à long-terme
(durée au-delà de laquelle la moitié des
articles de l’année de référence cesse
d’être citée. EX : 6,9 (ans) pour Nature en
2002
Demi-vie de citation agrégée (Aggregate
Cited Half-Life)
Même chose pour un domaine donné
Quartiles
Pour un domaine donné, les revues sont classées selon leur FI
Premier quartile = 25% des premiers facteurs d’impact = revues à forte notoriété
West Lab + Bergstrom Lab
Dept. Of Biology
University of Washington
Acteur Maison-mère / filiales Produits en lien avec l’IST
Partenariats avec outils de
métriques librement accessibles
Créé par Carl Bergstrom et Jevin West, introduit en 2007
dans le JCR
Données issues du JCR + données du site journalprices.com
Basé sur le même type de concept que celui du Google Page
Rank
Métriques accessibles sur le site eigenfactor.org 6 mois
après leur publication dans le JCR
Pourcentage de l’influence totale du réseau de citations
Exclusion des auto-citations (citations d’articles de la revue
par des articles de la même revue)
Eigenfactor pour Revue Y =
nombre citations reçues* pendant 5 ans
-----------------------------------------------------------
nombre citations reçues par les articles du JCR
sur la même période
*citations reçues par la revue pondérées par
l’eigenfactor des revues des articles citants
Valeurs normalisées : la somme des valeurs de
l’Eigenfactor de toutes les revues du JCR = 100
Les 1000 revues les plus cotées ont un EF > à 0,01
Nature EF 2014 = 1.5, signifie que cette revue
représente 1,5% de l’influence totale du réseau de
citations
Possibilité d’utiliser l’EF pour l’influence des revues,
auteurs, institutions et pays (cf SSRN)
Eigenfactor normalisé
Eigenfactor multiplié par le nombre de revues du
domaine comptabilisé la même année
Score moyen d’un titre du JCR = 1 (addition des
scores de chaque titre = nombre des titres du JCR)
Nature Efn 2015 = 167
Signifie que Nature a 167 fois plus d’influence qu’un titre
moyen du JCR
EF 2014 Efn (2015)
Nature 1.5 167
PLOS One 1.53 171
AJP-Renal Physiology 0.028 3
Article Influence Score (AIS)
Calcule le rapport entre l’Eigenfactor de la revue et le
nombre d’articles publiés par cette revue sur la même
période
AIS moyen = 1, un AIS >1 indique une influence importante
Reviews of Modern Physics AIS 2011 = 28.9002
Signifie que l’article moyen de cette revue a 28 fois
l’influence de l’article moyen dans le JCR
EF 2014 AIS 2014 Efn (2015)
Nature 1.5 21.9 167
PLOS One 1.53 1.2 171
AJP-Renal Physiology 0.028 1.1 3
Scopus
Scopus
Base de données bibliographiques payante lancée
par Elsevier en 2004
Référence 21 000 titres de revues
Propose CiteScore Metrics depuis fin 2016
Calcul proche du FI du Wos
Sur 3 ans, données de l’année précédente, mise à
jour annuelle
Intègre tous les documents potentiellement
citables (ce qui a tendance à faire baisser le score
de certains titres)
Exemple : The Lancet
FI : 44
CS : 7,7
CiteScore Tracker : équivalent du CS mais sur les
données de l’année en cours, mise à jour
mensuelle
Facteur d’impact : Cf+CR / Nr
Toutes les citations vers la revue sont prises en compte, mais seulement les articles de recherche sont
comptabilisés
CiteScore : Cf+Cr / Nf+Nr
Toutes les citations vers la revue sont prises en compte, ainsi que tous les éléments susceptibles de recevoir des
citations (même s’ils sont souvent moins cités que les articles de recherche)
Source normalized impact per paper (SNIP) :
Créé par Henk Moed du Centre for Science and Technology Studies (CWTS), Université de Leyde
Mesure contextuelle de l’impact de citation d’une revue :
Nombre de citations d’une revue par article / potentiel de citation du domaine de la revue
(plus une liste de références est longue, moindre est la valeur d’une référence)
Définition (CIRAD, 2017)
Impact de citation d’une revue dans un champ disciplinaire donné. Un champ disciplinaire d’une revue J est défini par l’ensemble des articles qui citent la
revue J et donc l’ensemble des revues auxquels appartiennent ces articles.
Le SNIP d’une revue J est le rapport entre le nombre de citations reçues par les articles de J publiés pendant les 3 années précédentes divisé par le nombre
d’articles publiés par J pendant la même période, et le potentiel de citation dans le champ disciplinaire de la revue J.
Le potentiel de citation indique la fréquence à laquelle les articles dans le champ disciplinaire d’une revue citent d’autres articles publiés dans les 3 années
précédentes.
Normalisé, une revue médiane dans son champ disciplinaire a un potentiel de citation de 1.
West Lab + Bergstrom Lab
Dept. Of Biology
University of Washington
Acteur Maison-mère / filiales Produits en lien avec l’IST
Partenariats avec outils de
métriques librement accessibles
SCImago
Consejo Superior de
Investigaciones Cientificas (CSIC)
University of Granada
Développé par une équipe de recherche du Conseil supérieur des recherches scientifiques (CSIC, Espagne)
Données issues de Scopus, accès gratuit (données 2017)
Calcul basé sur le modèle du PageRank
http://www.scimagojr.com/
Facteur d’impact : mesure de la popularité
EF, SJR, AIS : mesure de l’influence
Différences entre Eigenfactor et Scimago Journal Rank
Eigenfactor SJR
Taille du réseau 11 000 titres
(Wos)
21 000 titres (Scopus-
Elsevier)
Fenêtre de
citation
5 ans 3 ans
Auto-citations non Oui (max 1/3 des citations
reçues)
Scimago Journal & Country Rank
Scimago Journal & Country Rank
SJR (Scimago Journal Rank)
Nombre moyen des citations pondérées reçues dans une année donnée par les documents d’une revue
publiés les 3 années précédentes
Index h : nombre h d’articles d’une revue ayant reçu au moins h citations (depuis 2005)
Citable documents : uniquement articles, synthèses et articles de conférence
Cited documents : nombre de documents cités au moins une fois dans les 3 années précédentes
Uncited documents : nombre de documents non cités dans les 3 années précédentes
Total references : nombre total de références bibliographiques dans une revue sur la période sélectionnée
References per document : nombre moyen de références par document pour l’année sélectionnée
Index h
- Quel est l’index h d’une revue ayant 5 articles ayant été cités respectivement 17, 9, 6, 3 et 2 fois ?
http://www.bibliothequescusm.ca/formations-et-conseils/guides-et-tutoriels/quel-est-votre-impact-en-savoir-plus-sur-lindice-h/
Index h
- Quel est l’index h d’une revue ayant 5 articles ayant été cités respectivement 17, 9, 6, 3 et 2 fois ?
Réponse : 3
West Lab + Bergstrom Lab
Dept. Of Biology
University of Washington
Acteur Maison-mère / filiales Produits en lien avec l’IST
Partenariats avec outils de
métriques librement accessibles
SCImago
Consejo Superior de
Investigaciones Cientificas (CSIC)
University of Granada
Résumé des citations récentes pour des revues et des articles scientifiques
Ne couvre que les articles publiés entre 2012 et 2016 inclus
Métriques basées sur les citations pour tous les articles indexés par GS en juin 2017
Critères d’inclusion
- Articles de revues provenant de sites respectant les critères d’inclusion de GS
- Sélection d’articles de conférences en informatique et sciences de l’ingénieur
- Preprints d’arXiv et de NBER (économie)
Critères d’exclusion
- jugements, brevets, ouvrages, mémoires
- Publications ayant moins de 100 articles publiés entre 2012 et 2016
- Publications n’ayant reçu aucune citation pour des articles publiés entre 2012 et 2016
Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais)
Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais)
Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais)
Indice h5 : indice h des articles publiés au cours des cinq dernières années révolues. Il correspond à la valeur la plus élevée de h de façon que h
articles publiés entre 2012 et 2016 sont cités au moins h fois chacun
Médiane h5 : nombre moyen de fois que les articles composant son indice h5 sont cités
Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais)
Indice h5 : indice h des articles publiés au cours des cinq dernières années révolues. Il correspond à la valeur la plus élevée de h de façon que h
articles publiés entre 2012 et 2016 sont cités au moins h fois chacun
Médiane h5 : nombre moyen de fois que les articles composant son indice h5 sont cités
H-core : ensemble des articles h les plus cités de la revue
GS publie la liste des articles h5-core pour chaque revue
Carl Boettiger
scholar.google.com
https://www.wageningenur.nl
Step 1: Profile
https://www.wageningenur.nl
Step 2: Articles
Step 3: Updates
https://www.wageningenur.nl
 Quantitative evaluation should support qualitative,
expert assessment
 Measure performance against the research missions
of the institution, group, or researcher
 Protect excellence in locally relevant research
 Keep data collection and analytical processes [about
research] open, transparent, and simple
 Allow those evaluated to verify data and analysis
[about their work]
 Account for variation by field in publication and
citation practices
 Base assessment of individual researchers [at an
institutional level] on a qualitative judgement of their
portfolio
 Avoid misplaced concreteness and false precision [of
quantitative methods of data collection]
 Recognize the systemic effects of assessment and
indicators and preference a “suite of indicators” over a
single metric such as journal impact factor
 Scrutinize indicators regularly and update them to
reflect changing research ecosystems.
Quid des sciences humaines et sociales ?
 Limites du FI : majorité de revues anglophones recensées par le Wos (~ 3000
en sciences sociales (dont 26 françaises), ~1500 en arts et lettres (dont 70
françaises)
 Supports de publication privilégiés : revues nationales + ouvrages (surtout dans
certaines disciplines, en France)
 Absence de bases de données recensant les revues en shs
 + difficultés de définir clairement une revue « scientifique » en shs (pas aussi
formalisées qu’en STM et pas toujours de processus de validation par les pairs :
expertise des articles avant publication)
Quid des sciences humaines et sociales ?
 Évolutions en cours
 Glissement des pratiques STM vers SHS
 Augmentation de la pratique de l’article et de la revue
 Anglicisation des publications (revues « internationales », collaborations,
etc.)
 colloque « Evaluation des productions scientifiques : des innovations en SHS », 9-
10 juin 2011, initiative de l’Institut national SHS (InShs) du CNRS
 STM vs SHS ?
 Passerelles de plus en plus courantes sciences-sociétés et rôle des SHS
 Nécessité de prendre en compte la valeur ajoutée des Shs
Quid des sciences humaines et sociales ?
 Possibilités d’utiliser des d’outils spécifiques :
 Listes disciplinaires de revues validées par l’HCERES – Haut conseil d’évaluation de
l’enseignement supérieur et la recherche (pas de mise à jour récente, sauf pour
économie-gestion)
 Listes disciplinaires de l’ERIH – European Research Index for the Humanities,
proposées par European Science Fondation – ESF en 2002 puis évolution des
critères de sélection en 2014
 JournalBase : base de données recensant les informations d’indexation des revues
shs (HCERES, WOS et Scopus – base d’Elsevier concurrente du WOS)
 2008, InShs
 Référentiel RIBAC (CNRS, 2009) : Recueil d’Informations pour un oBservatoire des
Activités des Chercheurs en shs
 Caractérisation plutôt qu’évaluation
Des métriques « traditionnelles » aux métriques
alternatives
 Nouvelles formes
 de production, de communication, de mesures
NOUVELLES FORMES DE PRODUCTION
SCIENTIFIQUE
Codes, logiciels
Variété de nouveaux
types de supports
Plum X
http://plumanalytics.com/learn/about-artifacts/
Référentiel d’évaluation des unités de recherche (pdf) : Typologie des
produits et activités de la recherche
http://www.hceres.fr/index.php/content/download/28678/439608/file/Referentiel%20UR.pdf
+ ÉVOLUTIONS DE LA SCIENCE
- de l’impact scientifique à l’impact sociétal
- ouverture à des légitimités extérieures
NOUVELLES FORMES DE
COMMUNICATION ET DE PARTAGE
création et étude de nouvelles métriques
basées sur le web social
pour analyser et documenter la science
2010 : un « manifeste » pour les métriques alternatives
 « Personne ne peut tout lire »
 Intérêt mais limites du « peer-reviewing » (lent, ne permet plus le filtrage du volume publié)
 Décompte des citations utiles mais insuffisant (non prise en compte de l’impact large)
 Facteur d’impact # évaluation de l’article
 Les altmetrics : les filtres de demain
 Production scientifique :
 + large : articles, + data + code, etc.
 granularité plus fine des unités de citation
 auto-publication (blogs, commentaires, annotations)
 Une feuille de route
 Expérimentations et recherche
 Développement d’applications, de méthodes et de métriques
 Développement de l’analyse sémantique du contexte de la citation
 « comment et pourquoi » et pas seulement « combien »
Comment ça marche ?
Trouver et agréger les traces d’usage
Identifiants
Digital object identifier (DOI)
ISBN
• PMID
• arXiv ID
• URL
• etc.
Exemples de DOI
http://dx.doi.org/10.5061/dryad.f6c34 : ensemble de données sur Dryad
http://dx.doi.org/10.1126/science.1250092 : article dans la revue Science
doi: 10.1126/science.1250092 : autre forme valide de DOI
http://dx.doi.org/10.6084/m9.figshare.1286826 : poster sur Figshare
Comment ça marche ?
Trouver et agréger les traces d’usage
Identifiants
Digital object identifier (DOI)
ISBN
• PMID
• arXiv ID
• URL
• etc.
Métriques collectées
Vues
Mentions
Citations
Partages
Recommandations
Téléchargements
Sauvegardes
Commentaires
Notes
Classements
Etc.
Comment ça marche ?
Une
production
scientifique
(article, jeu de
données, etc.)
Un identifiant
associé à la
production
(DOI, URL, ORCID,
etc.)
Des mentions
dans les sources
suivies
Une
API
sur les
sources suivies
Aline Bouchard, Réseaux sociaux académiques et nouvelles métriques de la recherche, Lundis du numérique
de l’Inha, 14 mars 2016, https://issuu.com/inha-paris/docs/bouchard_inha_lundisnumeriques_1403?e=0
Inspiré du site Altmetric.com : https://www.altmetric.com/about-our-data/how-it-works/
Types de sources Exemples de sources
Catalogues et bases de données commerciales
ou à but non lucratif
Amazon, Goodreads, Worldcat, Scopus, Web of Science,
Ebsco, PubMed, CrossRef, DataCite, PLoS, Copernicus
Réseaux sociaux et moteurs académiques Facebook, Twitter, Google+, LinkedIn, Google Scholar,
Microsoft Academic Search, F1000Prime
Réseaux de signets CiteULike, Delicious, Reddit, Pinterest, Instagram
outils de gestion des références
bibliographiques
Mendeley, Zotero
dépôts de données (et autres types de
documents)
Dryad, Figshare
sites de dépôts de logiciels Github, SourceForge, StackOverflow
archives ouvertes dSpace, ePrints, ArXiv, RePec, SSRN, PubMed Central,
PubMed Central Europe
sites de vidéos et de présentations Youtube, Vimeo, Slideshare
bases de brevets UPSTO
Blogs ResearchBlogging, ScienceSeeker, GoogleBlogs, Nature
Blogs, WordPress.com, OpenEdition
Autres Wikipedia, Bit.ly
Sources des données
PLOS
Vues : PLOS Journals (HTML, PDF, XML), PubMed Central (HTML, PDF)
Sauvegardes : CiteULike, Mendeley
Citations : CrossRef, Datacite, Europe PMC, PubMed Central, Scopus,
Web of Science
Recommandations : F1000 Prime
Discussions : PLOS Comments, Facebook, Reddit, Twitter, Wikipedia
http://plumanalytics.com/learn/about-metrics/
 fournir des informations supplémentaires
 réduire l’importance de métriques qui peuvent être inappropriées (comme le seul classement
des revues)
 refléter l’impact des travaux qui viennent d’être publiés
 légitimer tous les types de productions scientifiques
 reconnaître une diversité de types d’impact (par exemple, un apport méthodologique ou une
controverse)
 récompenser les efforts réalisés pour faciliter la réutilisation des produits
 encourager la reconnaissance de l’engagement public
 faciliter l’exploration qualitative de l’impact
 faciliter le choix de la publication
 développer l’innovation dans l’évaluation de la recherche
 Outil de découverte et de navigation
 Démonstration de l’impact
 Outil de veille stratégique et d’évaluation
Une légitimité en construction
 Différents usages pour différents acteurs
 Différences entre plateformes : sources, valeurs, objectifs, etc.
 Sources récentes, évolutives
 Variété des aires linguistiques et disciplinaires
 + sources anglophones, STM
 pratiques de citations, usages des médias sociaux
 Impact = attention # qualité
 Impact académique / grand public
 Evolution vers des métriques ouvertes ?
The Metric Tide
(HEFCE): pour des
« métriques
responsables »
 Robustesse
 Humilité
 Transparence
 Diversité
 Réflexivité
Google Trends pour « bibliometrics » (bleu) vs « altmetrics » (rouge)
Research Trends, 2014
Acteurs et outils
Service / outil Création Acteur(s) Type d’acteur
PLoS Article-
Level Metric
2009 Public Library of
Science
Éditeur en libre
accès (not for
profit)
Altmetric.com 2011 Digital Science
(depuis 2012)
Société privée (for
profit)
Plum Analytics 2011 Elsevier (depuis
2017)
Société privée (for
profit)
ImpactStory 2011 Heather Piwowar
Jason Priem
Projet (not for
profit)
Dimensions 2018 Digital Science Société privée (for
profit)
PLos ALM
Public Library of Science – Article-Level Metrics
Éditeur à but non lucratif
Premier à proposer des métriques au niveau de l’article : évaluation a posteriori
Logiciel libre : Lagotto : collecte et agrégation des données
Implémenté par d’autres éditeurs sur leur propre site
Copernicus
eLife
Public Library of Science – PLoS
Article Level Metrics - ALM
http://www.bagtheweb.com/b/s9FQW2
Altmetric
https://www.altmetric.com/
ne pas confondre avec le site Altmetrics
Start-up fondée en 2011 par Euan Adie
Services aux éditeurs, institutions, entreprises
Explorer, badges, API
Accès gratuits
Badges pour archives institutionnelles, pour chercheurs
Explorer pour bibliothécaires (pas de vues institutionnelles)
API pour des projets de recherche
Altmetric.com
- ses beignets (donuts)
- son bookmarklet (gratuit)
- son API
Altmetric score
=
somme
pondérée de la
quantité
d’attention
reçue par un
article
http://www.bagtheweb.com/b/s9FQW2
Plum Analytics
2011, rachetée par Ebsco en 2014, par Elsevier en 2017
Services payants pour les institutions de recherche, financeurs
Agrégation des données afin de proposer des indicateurs au niveau d’un laboratoire, d’une
institution ou de tout autre groupe significatif : Plum X
se positionne comme un outil de veille stratégique pour les institutions, leur permettant
de faire des bilans sur leurs programmes de financements (reçus ou donnés, via PlumX+Grants),
d’établir des comparaisons avec d’autres organismes (PlumX Benchmarks)
de rechercher des opportunités de financement (PlumX Funding Opportunities)
Plum Analytics – PlumX
Les chercheurs ne comptent pas pour des prunes…
http://www.bagtheweb.com/b/s9FQW2
Impactstory
Fondée par Heather Piwowar et Jason Priem
Agrégation de données pour proposer des profils de chercheurs
Service gratuit aux chercheurs
http://www.bagtheweb.com/b/s9FQW2
Acteur Maison-mère / filiales Produits en lien avec l’IST Outils Altmetrics ?
Développé par Digital Science depuis janvier 2018
Produit également ReadCube, Altmetric, Figshare, Symplectic, ÜberResearch
Système de recherche d’information
Réponse aux systèmes fermés basés sur les publications et les citations
Développé en collaboration avec plus de 100 institutions de recherche
Données sur 128 millions de publications, financements, politiques, données et métriques et 4 milliards de connexions
Mise à disposition (gratuite pour chercheurs, payante pour institutions) de données de citations via l’application Dimensions
https://www.dimensions.ai et via des API
Métriques disponibles via l’API Dimensions Metrics et les Badges Dimensions : https://badge.dimensions.ai
Réservés à des usages non-commerciaux
Volonté d’ouverture et de partenariat avec la communauté scientifique
Données sur Dimensions
(janvier 2018)
Données
arrondies
Nombre de publications
enregistrées
90 millions
Nombre de projets financés 3,7 millions
Nombre d’essais cliniques 400 000
Nombre de brevets 35 millions
Nombre d’enregistrements
avec des données Altmetric
9 millions
Nombre total de documents 130 millions
Nombre de liens entre ces
documents
4 milliards
Dimensions
Liens développés via apprentissage
machine et IA
Altmetrics
Parcours en ligne
http://www.bagtheweb.com/b/s9FQW2

Contenu connexe

Tendances

Test de corrélation simple et test de Normalité
Test de corrélation simple  et  test de Normalité  Test de corrélation simple  et  test de Normalité
Test de corrélation simple et test de Normalité Adad Med Chérif
 
La recherche documentaire sur moteurs de recherche et bases de données
La recherche documentaire sur moteurs de recherche et bases de donnéesLa recherche documentaire sur moteurs de recherche et bases de données
La recherche documentaire sur moteurs de recherche et bases de donnéesLatour Marie
 
Chapitre 1 SI Définitions & Conceptions.pptx
Chapitre 1 SI Définitions & Conceptions.pptxChapitre 1 SI Définitions & Conceptions.pptx
Chapitre 1 SI Définitions & Conceptions.pptxLilia Hedfi-Khayati
 
Conception datawarehouse
Conception datawarehouseConception datawarehouse
Conception datawarehouseHassane Dkhissi
 
La recherche scientifique dans le domaine médical en tunisie
La recherche scientifique dans le domaine médical en tunisieLa recherche scientifique dans le domaine médical en tunisie
La recherche scientifique dans le domaine médical en tunisiePasteur_Tunis
 
Organiser son Doctorat
Organiser son DoctoratOrganiser son Doctorat
Organiser son Doctoratlorraine2
 
Cours python
Cours pythonCours python
Cours pythonsalmazen
 
Pubmed, mode d'emploi
Pubmed, mode d'emploiPubmed, mode d'emploi
Pubmed, mode d'emploiBibUnicaen
 
Choix de l’analyse statistique appropriée
 Choix de l’analyse statistique appropriée  Choix de l’analyse statistique appropriée
Choix de l’analyse statistique appropriée Adad Med Chérif
 
Présentation de Django @ Orange Labs (FR)
Présentation de Django @ Orange Labs (FR)Présentation de Django @ Orange Labs (FR)
Présentation de Django @ Orange Labs (FR)Martin Latrille
 
Ecrire un article scientifique
Ecrire un article scientifiqueEcrire un article scientifique
Ecrire un article scientifiquetidchems
 
5 outils de bookmarking visuel
5 outils de bookmarking visuel5 outils de bookmarking visuel
5 outils de bookmarking visuelRedaction SKODEN
 
Guide d'utilisation de scirus
Guide d'utilisation de scirusGuide d'utilisation de scirus
Guide d'utilisation de scirusAlain Marois
 
04-XLSForm_Cahier de participant.pdf
04-XLSForm_Cahier de participant.pdf04-XLSForm_Cahier de participant.pdf
04-XLSForm_Cahier de participant.pdfCOULIBALYSimplice
 
Cours Base de données relationnelles
Cours Base de données relationnellesCours Base de données relationnelles
Cours Base de données relationnellesAymen Kasmi
 

Tendances (20)

Test de corrélation simple et test de Normalité
Test de corrélation simple  et  test de Normalité  Test de corrélation simple  et  test de Normalité
Test de corrélation simple et test de Normalité
 
La recherche documentaire sur moteurs de recherche et bases de données
La recherche documentaire sur moteurs de recherche et bases de donnéesLa recherche documentaire sur moteurs de recherche et bases de données
La recherche documentaire sur moteurs de recherche et bases de données
 
Cours sociologie
Cours sociologieCours sociologie
Cours sociologie
 
Impact factor
Impact factorImpact factor
Impact factor
 
Chapitre 1 SI Définitions & Conceptions.pptx
Chapitre 1 SI Définitions & Conceptions.pptxChapitre 1 SI Définitions & Conceptions.pptx
Chapitre 1 SI Définitions & Conceptions.pptx
 
Conception datawarehouse
Conception datawarehouseConception datawarehouse
Conception datawarehouse
 
La recherche scientifique dans le domaine médical en tunisie
La recherche scientifique dans le domaine médical en tunisieLa recherche scientifique dans le domaine médical en tunisie
La recherche scientifique dans le domaine médical en tunisie
 
Organiser son Doctorat
Organiser son DoctoratOrganiser son Doctorat
Organiser son Doctorat
 
Cours python
Cours pythonCours python
Cours python
 
Pubmed, mode d'emploi
Pubmed, mode d'emploiPubmed, mode d'emploi
Pubmed, mode d'emploi
 
Stat8 Anova
Stat8  AnovaStat8  Anova
Stat8 Anova
 
Choix de l’analyse statistique appropriée
 Choix de l’analyse statistique appropriée  Choix de l’analyse statistique appropriée
Choix de l’analyse statistique appropriée
 
Présentation de Django @ Orange Labs (FR)
Présentation de Django @ Orange Labs (FR)Présentation de Django @ Orange Labs (FR)
Présentation de Django @ Orange Labs (FR)
 
Ecrire un article scientifique
Ecrire un article scientifiqueEcrire un article scientifique
Ecrire un article scientifique
 
COURS_PYTHON_22.ppt
COURS_PYTHON_22.pptCOURS_PYTHON_22.ppt
COURS_PYTHON_22.ppt
 
5 outils de bookmarking visuel
5 outils de bookmarking visuel5 outils de bookmarking visuel
5 outils de bookmarking visuel
 
Guide d'utilisation de scirus
Guide d'utilisation de scirusGuide d'utilisation de scirus
Guide d'utilisation de scirus
 
Classement des documents Jeunesse
Classement des documents JeunesseClassement des documents Jeunesse
Classement des documents Jeunesse
 
04-XLSForm_Cahier de participant.pdf
04-XLSForm_Cahier de participant.pdf04-XLSForm_Cahier de participant.pdf
04-XLSForm_Cahier de participant.pdf
 
Cours Base de données relationnelles
Cours Base de données relationnellesCours Base de données relationnelles
Cours Base de données relationnelles
 

Similaire à Les métriques de la science (ou La bibliométrie pour les nuls)

L'évaluation de la recherche
L'évaluation de la rechercheL'évaluation de la recherche
L'évaluation de la rechercheFrançois Gibier
 
En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?Manuel Durand Barthez
 
Évaluation & Valorisation des résultats de la recherche
Évaluation & Valorisation des résultats de la rechercheÉvaluation & Valorisation des résultats de la recherche
Évaluation & Valorisation des résultats de la rechercheMokhtar Ben Henda
 
En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?URFIST de Paris
 
Recherche d'information et le métier de doctorant
Recherche d'information et le métier de doctorantRecherche d'information et le métier de doctorant
Recherche d'information et le métier de doctorantBessem Aamira
 
Présentation-R-Barre-Jne 30ans-des-urfist
Présentation-R-Barre-Jne 30ans-des-urfistPrésentation-R-Barre-Jne 30ans-des-urfist
Présentation-R-Barre-Jne 30ans-des-urfistURFIST de Paris
 
Bibliométrie : modèles, outils et méthodes
Bibliométrie : modèles, outils et méthodesBibliométrie : modèles, outils et méthodes
Bibliométrie : modèles, outils et méthodesURFIST de Paris
 
Bibliométrie & production scientifique des entités de recherche - Durand-Barthez
Bibliométrie & production scientifique des entités de recherche - Durand-BarthezBibliométrie & production scientifique des entités de recherche - Durand-Barthez
Bibliométrie & production scientifique des entités de recherche - Durand-BarthezMyScienceWork
 
Modes de peer-reviewing et modes de publication dans le contexte de la Scienc...
Modes de peer-reviewing et modes de publication dans le contexte de la Scienc...Modes de peer-reviewing et modes de publication dans le contexte de la Scienc...
Modes de peer-reviewing et modes de publication dans le contexte de la Scienc...Urfist Méditerranée
 
Devenir chercheur: réussir son projet de veille scientifique/ Lrhoul Hanae
Devenir chercheur: réussir son projet de veille scientifique/ Lrhoul HanaeDevenir chercheur: réussir son projet de veille scientifique/ Lrhoul Hanae
Devenir chercheur: réussir son projet de veille scientifique/ Lrhoul HanaeLrhoul Hanae
 
Biblométrie et production scientifique des unités de recherche
Biblométrie et production scientifique des unités de rechercheBiblométrie et production scientifique des unités de recherche
Biblométrie et production scientifique des unités de rechercheURFIST de Paris
 
Bibliométrie & publications scientifiques
Bibliométrie & publications scientifiquesBibliométrie & publications scientifiques
Bibliométrie & publications scientifiquesManuel Durand Barthez
 
Lés médias sociaux dans la communication et l'évaluation scientifique : résul...
Lés médias sociaux dans la communication et l'évaluation scientifique : résul...Lés médias sociaux dans la communication et l'évaluation scientifique : résul...
Lés médias sociaux dans la communication et l'évaluation scientifique : résul...Stefanie Haustein
 
Haustein, S. (2016). Les « altmetrics » et les médias sociaux dans la communi...
Haustein, S. (2016). Les « altmetrics » et les médias sociaux dans la communi...Haustein, S. (2016). Les « altmetrics » et les médias sociaux dans la communi...
Haustein, S. (2016). Les « altmetrics » et les médias sociaux dans la communi...Stefanie Haustein
 
Formation recherche d'article de périodiques
Formation recherche d'article de périodiquesFormation recherche d'article de périodiques
Formation recherche d'article de périodiquesadeleflannery
 
L'ouverture des données de la recherche en 2015 : définitions, enjeux, dynami...
L'ouverture des données de la recherche en 2015 : définitions, enjeux, dynami...L'ouverture des données de la recherche en 2015 : définitions, enjeux, dynami...
L'ouverture des données de la recherche en 2015 : définitions, enjeux, dynami...Lesticetlart Invisu
 

Similaire à Les métriques de la science (ou La bibliométrie pour les nuls) (20)

L'évaluation de la recherche
L'évaluation de la rechercheL'évaluation de la recherche
L'évaluation de la recherche
 
En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?
 
Évaluation & Valorisation des résultats de la recherche
Évaluation & Valorisation des résultats de la rechercheÉvaluation & Valorisation des résultats de la recherche
Évaluation & Valorisation des résultats de la recherche
 
Valorisation et Bibliometrie, Isabelle Henry, JeudIST IRD du 8/11/2018
Valorisation et Bibliometrie, Isabelle Henry, JeudIST IRD du 8/11/2018Valorisation et Bibliometrie, Isabelle Henry, JeudIST IRD du 8/11/2018
Valorisation et Bibliometrie, Isabelle Henry, JeudIST IRD du 8/11/2018
 
En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?
 
Recherche d'information et le métier de doctorant
Recherche d'information et le métier de doctorantRecherche d'information et le métier de doctorant
Recherche d'information et le métier de doctorant
 
Présentation-R-Barre-Jne 30ans-des-urfist
Présentation-R-Barre-Jne 30ans-des-urfistPrésentation-R-Barre-Jne 30ans-des-urfist
Présentation-R-Barre-Jne 30ans-des-urfist
 
Bibliométrie : modèles, outils et méthodes
Bibliométrie : modèles, outils et méthodesBibliométrie : modèles, outils et méthodes
Bibliométrie : modèles, outils et méthodes
 
Bibliométrie & production scientifique des entités de recherche - Durand-Barthez
Bibliométrie & production scientifique des entités de recherche - Durand-BarthezBibliométrie & production scientifique des entités de recherche - Durand-Barthez
Bibliométrie & production scientifique des entités de recherche - Durand-Barthez
 
Modes de peer-reviewing et modes de publication dans le contexte de la Scienc...
Modes de peer-reviewing et modes de publication dans le contexte de la Scienc...Modes de peer-reviewing et modes de publication dans le contexte de la Scienc...
Modes de peer-reviewing et modes de publication dans le contexte de la Scienc...
 
Devenir chercheur: réussir son projet de veille scientifique/ Lrhoul Hanae
Devenir chercheur: réussir son projet de veille scientifique/ Lrhoul HanaeDevenir chercheur: réussir son projet de veille scientifique/ Lrhoul Hanae
Devenir chercheur: réussir son projet de veille scientifique/ Lrhoul Hanae
 
Biblométrie et production scientifique des unités de recherche
Biblométrie et production scientifique des unités de rechercheBiblométrie et production scientifique des unités de recherche
Biblométrie et production scientifique des unités de recherche
 
Bibliométrie & publications scientifiques
Bibliométrie & publications scientifiquesBibliométrie & publications scientifiques
Bibliométrie & publications scientifiques
 
Lés médias sociaux dans la communication et l'évaluation scientifique : résul...
Lés médias sociaux dans la communication et l'évaluation scientifique : résul...Lés médias sociaux dans la communication et l'évaluation scientifique : résul...
Lés médias sociaux dans la communication et l'évaluation scientifique : résul...
 
Haustein, S. (2016). Les « altmetrics » et les médias sociaux dans la communi...
Haustein, S. (2016). Les « altmetrics » et les médias sociaux dans la communi...Haustein, S. (2016). Les « altmetrics » et les médias sociaux dans la communi...
Haustein, S. (2016). Les « altmetrics » et les médias sociaux dans la communi...
 
Formation recherche d'article de périodiques
Formation recherche d'article de périodiquesFormation recherche d'article de périodiques
Formation recherche d'article de périodiques
 
Polytech geii sept2016
Polytech geii sept2016Polytech geii sept2016
Polytech geii sept2016
 
L'ouverture des données de la recherche en 2015 : définitions, enjeux, dynami...
L'ouverture des données de la recherche en 2015 : définitions, enjeux, dynami...L'ouverture des données de la recherche en 2015 : définitions, enjeux, dynami...
L'ouverture des données de la recherche en 2015 : définitions, enjeux, dynami...
 
100608 cs corte
100608 cs corte100608 cs corte
100608 cs corte
 
Introduction aux données de la recherche
Introduction aux données de la rechercheIntroduction aux données de la recherche
Introduction aux données de la recherche
 

Plus de URFIST de Paris

Recherche d'informations sur internet : méthodologie et outils disponibles
Recherche d'informations sur internet : méthodologie et outils disponiblesRecherche d'informations sur internet : méthodologie et outils disponibles
Recherche d'informations sur internet : méthodologie et outils disponiblesURFIST de Paris
 
Twitter : un outil de veille et de communication professionnelle (version 10/...
Twitter : un outil de veille et de communication professionnelle (version 10/...Twitter : un outil de veille et de communication professionnelle (version 10/...
Twitter : un outil de veille et de communication professionnelle (version 10/...URFIST de Paris
 
Au-delà de la gestion de flux RSS, valoriser sa veille
Au-delà de la gestion de flux RSS, valoriser sa veilleAu-delà de la gestion de flux RSS, valoriser sa veille
Au-delà de la gestion de flux RSS, valoriser sa veilleURFIST de Paris
 
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?URFIST de Paris
 
Tendances de la recherche web 2020
Tendances de la recherche web 2020Tendances de la recherche web 2020
Tendances de la recherche web 2020URFIST de Paris
 
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...URFIST de Paris
 
Veille, visibilité et communication : les atouts des réseaux sociaux pour le ...
Veille, visibilité et communication : les atouts des réseaux sociaux pour le ...Veille, visibilité et communication : les atouts des réseaux sociaux pour le ...
Veille, visibilité et communication : les atouts des réseaux sociaux pour le ...URFIST de Paris
 
Cartes heuristiques : éléments théoriques et usages en contexte universitaire...
Cartes heuristiques : éléments théoriques et usages en contexte universitaire...Cartes heuristiques : éléments théoriques et usages en contexte universitaire...
Cartes heuristiques : éléments théoriques et usages en contexte universitaire...URFIST de Paris
 
Les services multimédia en ligne ... Ou comment accéder à des fonctionnalités...
Les services multimédia en ligne ... Ou comment accéder à des fonctionnalités...Les services multimédia en ligne ... Ou comment accéder à des fonctionnalités...
Les services multimédia en ligne ... Ou comment accéder à des fonctionnalités...URFIST de Paris
 
Au-delà de la gestion de flux RSS, valoriser sa veille
Au-delà de la gestion de flux RSS, valoriser sa veilleAu-delà de la gestion de flux RSS, valoriser sa veille
Au-delà de la gestion de flux RSS, valoriser sa veilleURFIST de Paris
 
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?URFIST de Paris
 
Humanités numériques - Digital Humanities
Humanités numériques - Digital HumanitiesHumanités numériques - Digital Humanities
Humanités numériques - Digital HumanitiesURFIST de Paris
 
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...URFIST de Paris
 
ResearcherID, ORCID, IdHAL... Enjeux et perspectives des identifiants chercheur
ResearcherID, ORCID, IdHAL... Enjeux et perspectives des identifiants chercheurResearcherID, ORCID, IdHAL... Enjeux et perspectives des identifiants chercheur
ResearcherID, ORCID, IdHAL... Enjeux et perspectives des identifiants chercheurURFIST de Paris
 
Atelier sur les logiciels et services Web gratuits pouvant être utiles en thè...
Atelier sur les logiciels et services Web gratuits pouvant être utiles en thè...Atelier sur les logiciels et services Web gratuits pouvant être utiles en thè...
Atelier sur les logiciels et services Web gratuits pouvant être utiles en thè...URFIST de Paris
 
Services multimedia en ligne version 2017
Services multimedia en ligne version 2017Services multimedia en ligne version 2017
Services multimedia en ligne version 2017URFIST de Paris
 
Droits d'auteur & Publication scientifique
Droits d'auteur & Publication scientifiqueDroits d'auteur & Publication scientifique
Droits d'auteur & Publication scientifiqueURFIST de Paris
 

Plus de URFIST de Paris (20)

Recherche d'informations sur internet : méthodologie et outils disponibles
Recherche d'informations sur internet : méthodologie et outils disponiblesRecherche d'informations sur internet : méthodologie et outils disponibles
Recherche d'informations sur internet : méthodologie et outils disponibles
 
Twitter : un outil de veille et de communication professionnelle (version 10/...
Twitter : un outil de veille et de communication professionnelle (version 10/...Twitter : un outil de veille et de communication professionnelle (version 10/...
Twitter : un outil de veille et de communication professionnelle (version 10/...
 
Au-delà de la gestion de flux RSS, valoriser sa veille
Au-delà de la gestion de flux RSS, valoriser sa veilleAu-delà de la gestion de flux RSS, valoriser sa veille
Au-delà de la gestion de flux RSS, valoriser sa veille
 
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
 
Tendances de la recherche web 2020
Tendances de la recherche web 2020Tendances de la recherche web 2020
Tendances de la recherche web 2020
 
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
 
Veille, visibilité et communication : les atouts des réseaux sociaux pour le ...
Veille, visibilité et communication : les atouts des réseaux sociaux pour le ...Veille, visibilité et communication : les atouts des réseaux sociaux pour le ...
Veille, visibilité et communication : les atouts des réseaux sociaux pour le ...
 
Cartes heuristiques : éléments théoriques et usages en contexte universitaire...
Cartes heuristiques : éléments théoriques et usages en contexte universitaire...Cartes heuristiques : éléments théoriques et usages en contexte universitaire...
Cartes heuristiques : éléments théoriques et usages en contexte universitaire...
 
Les services multimédia en ligne ... Ou comment accéder à des fonctionnalités...
Les services multimédia en ligne ... Ou comment accéder à des fonctionnalités...Les services multimédia en ligne ... Ou comment accéder à des fonctionnalités...
Les services multimédia en ligne ... Ou comment accéder à des fonctionnalités...
 
Au-delà de la gestion de flux RSS, valoriser sa veille
Au-delà de la gestion de flux RSS, valoriser sa veilleAu-delà de la gestion de flux RSS, valoriser sa veille
Au-delà de la gestion de flux RSS, valoriser sa veille
 
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
Utiliser les flux RSS pour sa veille : Pourquoi et comment ?
 
Humanités numériques - Digital Humanities
Humanités numériques - Digital HumanitiesHumanités numériques - Digital Humanities
Humanités numériques - Digital Humanities
 
Bureaux portables 2019
Bureaux portables 2019Bureaux portables 2019
Bureaux portables 2019
 
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
Panorama sur les logiciels et services Web gratuits pouvant être utiles en th...
 
ResearcherID, ORCID, IdHAL... Enjeux et perspectives des identifiants chercheur
ResearcherID, ORCID, IdHAL... Enjeux et perspectives des identifiants chercheurResearcherID, ORCID, IdHAL... Enjeux et perspectives des identifiants chercheur
ResearcherID, ORCID, IdHAL... Enjeux et perspectives des identifiants chercheur
 
Donnees_de_la_Recherche
Donnees_de_la_RechercheDonnees_de_la_Recherche
Donnees_de_la_Recherche
 
Atelier sur les logiciels et services Web gratuits pouvant être utiles en thè...
Atelier sur les logiciels et services Web gratuits pouvant être utiles en thè...Atelier sur les logiciels et services Web gratuits pouvant être utiles en thè...
Atelier sur les logiciels et services Web gratuits pouvant être utiles en thè...
 
Bureaux portables 2018
Bureaux portables 2018Bureaux portables 2018
Bureaux portables 2018
 
Services multimedia en ligne version 2017
Services multimedia en ligne version 2017Services multimedia en ligne version 2017
Services multimedia en ligne version 2017
 
Droits d'auteur & Publication scientifique
Droits d'auteur & Publication scientifiqueDroits d'auteur & Publication scientifique
Droits d'auteur & Publication scientifique
 

Dernier

Exemple de grille d'audit 5S, check liste Audit
Exemple de grille d'audit 5S, check liste AuditExemple de grille d'audit 5S, check liste Audit
Exemple de grille d'audit 5S, check liste Audittechwinconsulting
 
GHASSOUB _Seance 4_ measurement and evaluation in education_-.pptx
GHASSOUB _Seance 4_ measurement and evaluation in education_-.pptxGHASSOUB _Seance 4_ measurement and evaluation in education_-.pptx
GHASSOUB _Seance 4_ measurement and evaluation in education_-.pptxAbderrahim GHASSOUB
 
Àma Gloria.pptx Un film tourné au Cap Vert et en France
Àma Gloria.pptx   Un film tourné au Cap Vert et en FranceÀma Gloria.pptx   Un film tourné au Cap Vert et en France
Àma Gloria.pptx Un film tourné au Cap Vert et en FranceTxaruka
 
rapport de stage gros oeuvre_compressed.pdf
rapport de stage gros oeuvre_compressed.pdfrapport de stage gros oeuvre_compressed.pdf
rapport de stage gros oeuvre_compressed.pdfOssamaLachheb
 
Texte avec différentes critiques positives, négatives ou mitigées
Texte avec différentes critiques positives, négatives ou mitigéesTexte avec différentes critiques positives, négatives ou mitigées
Texte avec différentes critiques positives, négatives ou mitigéesLeBaobabBleu1
 
GHASSOUB _Seance 3_ measurement and evaluation in education.pptx
GHASSOUB _Seance 3_ measurement and evaluation in education.pptxGHASSOUB _Seance 3_ measurement and evaluation in education.pptx
GHASSOUB _Seance 3_ measurement and evaluation in education.pptxAbderrahim GHASSOUB
 
Quitter la nuit. pptx
Quitter          la        nuit.    pptxQuitter          la        nuit.    pptx
Quitter la nuit. pptxTxaruka
 
PowerPoint-de-Soutenance-de-TFE-infirmier.pdf
PowerPoint-de-Soutenance-de-TFE-infirmier.pdfPowerPoint-de-Soutenance-de-TFE-infirmier.pdf
PowerPoint-de-Soutenance-de-TFE-infirmier.pdfDafWafia
 
Quitter la nuit. pptx
Quitter        la             nuit.   pptxQuitter        la             nuit.   pptx
Quitter la nuit. pptxTxaruka
 
Fiche de vocabulaire pour faire une appréciation
Fiche de vocabulaire pour faire une appréciationFiche de vocabulaire pour faire une appréciation
Fiche de vocabulaire pour faire une appréciationLeBaobabBleu1
 
Réunion des directeurs de Jonzac - 15 mai 2024
Réunion des directeurs de Jonzac - 15 mai 2024Réunion des directeurs de Jonzac - 15 mai 2024
Réunion des directeurs de Jonzac - 15 mai 2024IEN_Jonzac
 
Un petit coin etwinning- Au fil des cultures urbaines
Un petit coin  etwinning- Au fil des cultures urbainesUn petit coin  etwinning- Au fil des cultures urbaines
Un petit coin etwinning- Au fil des cultures urbainesSocratis Vasiopoulos
 
Les débuts de la collection "Le livre de poche"
Les débuts de la collection "Le livre de poche"Les débuts de la collection "Le livre de poche"
Les débuts de la collection "Le livre de poche"ArchivesdeLyon
 
Nathanaëlle Herbelin.pptx Peintre française
Nathanaëlle Herbelin.pptx Peintre françaiseNathanaëlle Herbelin.pptx Peintre française
Nathanaëlle Herbelin.pptx Peintre françaiseTxaruka
 

Dernier (14)

Exemple de grille d'audit 5S, check liste Audit
Exemple de grille d'audit 5S, check liste AuditExemple de grille d'audit 5S, check liste Audit
Exemple de grille d'audit 5S, check liste Audit
 
GHASSOUB _Seance 4_ measurement and evaluation in education_-.pptx
GHASSOUB _Seance 4_ measurement and evaluation in education_-.pptxGHASSOUB _Seance 4_ measurement and evaluation in education_-.pptx
GHASSOUB _Seance 4_ measurement and evaluation in education_-.pptx
 
Àma Gloria.pptx Un film tourné au Cap Vert et en France
Àma Gloria.pptx   Un film tourné au Cap Vert et en FranceÀma Gloria.pptx   Un film tourné au Cap Vert et en France
Àma Gloria.pptx Un film tourné au Cap Vert et en France
 
rapport de stage gros oeuvre_compressed.pdf
rapport de stage gros oeuvre_compressed.pdfrapport de stage gros oeuvre_compressed.pdf
rapport de stage gros oeuvre_compressed.pdf
 
Texte avec différentes critiques positives, négatives ou mitigées
Texte avec différentes critiques positives, négatives ou mitigéesTexte avec différentes critiques positives, négatives ou mitigées
Texte avec différentes critiques positives, négatives ou mitigées
 
GHASSOUB _Seance 3_ measurement and evaluation in education.pptx
GHASSOUB _Seance 3_ measurement and evaluation in education.pptxGHASSOUB _Seance 3_ measurement and evaluation in education.pptx
GHASSOUB _Seance 3_ measurement and evaluation in education.pptx
 
Quitter la nuit. pptx
Quitter          la        nuit.    pptxQuitter          la        nuit.    pptx
Quitter la nuit. pptx
 
PowerPoint-de-Soutenance-de-TFE-infirmier.pdf
PowerPoint-de-Soutenance-de-TFE-infirmier.pdfPowerPoint-de-Soutenance-de-TFE-infirmier.pdf
PowerPoint-de-Soutenance-de-TFE-infirmier.pdf
 
Quitter la nuit. pptx
Quitter        la             nuit.   pptxQuitter        la             nuit.   pptx
Quitter la nuit. pptx
 
Fiche de vocabulaire pour faire une appréciation
Fiche de vocabulaire pour faire une appréciationFiche de vocabulaire pour faire une appréciation
Fiche de vocabulaire pour faire une appréciation
 
Réunion des directeurs de Jonzac - 15 mai 2024
Réunion des directeurs de Jonzac - 15 mai 2024Réunion des directeurs de Jonzac - 15 mai 2024
Réunion des directeurs de Jonzac - 15 mai 2024
 
Un petit coin etwinning- Au fil des cultures urbaines
Un petit coin  etwinning- Au fil des cultures urbainesUn petit coin  etwinning- Au fil des cultures urbaines
Un petit coin etwinning- Au fil des cultures urbaines
 
Les débuts de la collection "Le livre de poche"
Les débuts de la collection "Le livre de poche"Les débuts de la collection "Le livre de poche"
Les débuts de la collection "Le livre de poche"
 
Nathanaëlle Herbelin.pptx Peintre française
Nathanaëlle Herbelin.pptx Peintre françaiseNathanaëlle Herbelin.pptx Peintre française
Nathanaëlle Herbelin.pptx Peintre française
 

Les métriques de la science (ou La bibliométrie pour les nuls)

  • 1. Les métriques de la science (ou La bibliométrie pour les nuls) Annaïg Mahé Urfist de Paris septembre 2018
  • 2.  Métriques et mesures de la science  Contexte et définitions  Acteurs et indicateurs  Le Web of Science et ses indicateurs  L’Eigenfactor  Scopus et ses indicateurs  SCImago Journal Rank  Google Scholar  Des métriques traditionnelles de la science aux métriques alternatives  Nouvelles formes : de production, de communication, de mesures  Comment ça marche  Acteurs et outils
  • 3. Métriques et mesures de la science
  • 4. Métriques et mesures de la science / Contexte et définitions Bibliométrie application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication Pritchard, 1969
  • 5. Les prémisses du concept de bibliométrie remonteraient au début du XIXème siècle. Depuis ce temps, les fondements, les techniques, les applications des méthodes bibliométriques ont grandement évolué grâce à de nombreuses expérimentations. Cette abondance de travaux et surtout la variété des objectifs recherchés ont rendu confuse l'idée que l'on peut se faire de la bibliométrie. À un tel point que les spécialistes eux-mêmes ont des difficultés à se mettre d’accord sur des notions aussi cruciales que la terminologie employée (bibliométrie, scientométrie, infométrie, technométrie), sur les limites de sa mise en application (bibliothéconométrie, évaluation de la recherche, sociologie de la science, évaluation macro-économique, sociologie de l'innovation, veille technologique, traitement du langage naturel) (…). Hervé Rostaing, La bibliométrie et ses techniques, 1996 https://hal.archives-ouvertes.fr/hal-01579948/ Métriques et mesures de la science / Contexte et définitions
  • 6. Bibliométrie = champ de recherche Initialement utilisée en gestion documentaire et recherches bibliographiques puis application à l’évaluation de la recherche Métriques et mesures de la science / Contexte et définitions
  • 7. Bibliométrie = champ de recherche Initialement utilisée en gestion documentaire et recherches bibliographiques puis application à l’évaluation de la recherche Evaluation de la recherche Outil de pilotage (laboratoire, établissement, national) Basée sur les indicateurs disponibles (budget, financement, ressources humaines, production, valorisation) Métriques et mesures de la science / Contexte et définitions
  • 9. Wildgaard, Lorna, Jesper W. Schneider, and Birger Larsen, ‘A Review of the Characteristics of 108 Author-Level Bibliometric Indicators’, Scientometrics, 101 (2014), 125–58 https://doi.org/10.1007/s11192-014-1423-3 cf supplementary material : Liste d'indicateurs "auteur" Vous reprendrez bien quelques indicateurs ?
  • 10. Deux types de métriques appliquées à l’information scientifique et technique 1. Dénombrement de la production scientifique et technologique 2. Usage de la production scientifique
  • 11. Part de la France, des Etats-Unis et de la Chine dans les publications du monde, toutes disciplines (OST, 2013) Part des publications en mathématiques en Europe (OST, 2013) France Etats-Unis Chine 2012 3,6 % 22,6 % 12,6% 2002 4,8% 22,9% 3,8% Allemagne Espagne France 2012 14,4 % 9,5 % 17,8% 2002 17,6% 9,0% 20,3% Part des publications scientifiques nombre de publications d’un acteur donné (institution, pays) // nombre de publications publiées la même année pour un espace de référence donné (le monde par exemple) Part des demandes de brevets publiés Allemagne France Royaume-Uni 2012 17,8% 6,4% 4,4% 2002 19,9% 6,7% 5,3% Part mondiale des demandes de brevets européens (OST, 2013) Métriques et mesures de la science / Contexte et définitions / dénombrement de la production scientifique et technologique
  • 12. Indice de spécialisation des publications scientifiques proportion des publications annuelles d’un acteur (labo) dans une discipline // proportion des publications de la zone de référence pour la même discipline Indice de spécialisation >1 : acteur est plus spécialisé dans la discipline que la zone de référence étudiée Plus sa valeur est importante, plus il est spécialisé Allemagne Espagne France 2012 0,91 1,11 1,58 2002 0,99 1,39 1,58 Indice de spécialisation mondial en mathématiques (OST, 2013) Indice de spécialisation des brevets publiés Allemagne France Royaume-Uni 2012 0,86 0,90 1,18 2002 0,93 0,99 1,11 Indice de spécialisation mondial en chimie-matériaux, d’après les brevets européens délivrés (OST, 2013) Métriques et mesures de la science / Contexte et définitions / dénombrement de la production scientifique et technologique
  • 13. Analyse informatisée des réseaux de citations des articles dès les années 60 Impact des articles, revues, auteurs difficulté à recenser de manière non ambiguë la production des chercheurs Métriques et mesures de la science / Contexte et définitions / Usage de la production scientifique Mesure du degré d’utilisation de la production scientifique • Consultation et circulation des articles • Fréquence des citations reçues Mesures produites à partir des bases de données  Web of Science (depuis les années 60 : Institute of Scientific Information)  Scopus depuis 2004
  • 14. https://www.degruyter.com/view/j/libr Libri. International Journal of Libraries and Information Studies Web of science Scopus Centre for Science and Technology Studies Scopus (SNIP : Indicateur créé par le Centre for Science and Technology Studies, Université de Leyde) SCImago (données Scopus)
  • 15.
  • 16. Eugene Garfield le 27 février 2016 Science. 1955;122:108-11 Science. 1972;178:471-9 Création du Journal Impact Factor Au départ, repérage des revues les plus pertinentes d’une discipline Puis devenu dans certaines disciplines le principal indicateur de notoriété des revues Plus l’audience d’une revue est grande, plus son facteur d’impact peut être élevé
  • 18. Web of Science - Initialement bases de l’Institute for Scientific Information – ISI Fondé par Eugene Garfield dans les années 60 - Racheté par Thomson Reuters en 1992 - Vendu à Clarivate Analytics en 2016
  • 19. Web of Science  Science Citation Index 1963, + 8000 titres, 73 revues françaises, 3 en français)  Social Science Citation Index 1972, +3000 titres, dont 26 revues françaises)  Arts and Humanities Citation Index 1975, +1500 titres, dont 70 revues françaises)  Emerging Sources Citation Index 2015, +5000 titres)
  • 22. Le facteur d’impact Le facteur d’impact (FI) et ses indicateurs associés pour évaluer la notoriété d’une revue, en 7 points, CIRAD, 2014,http://url.cirad.fr/ist/facteur-impact-indicateurs-associes in 2006
  • 23. Byl Lauren, Jana Carson, Annamaria Feltracco, Susie Gooch, Shannon Gordon, Tim Kenyon, and others, ‘White Paper: Measuring Research Outputs Through Bibliometrics’, 2016 https://doi.org/10.13140/RG.2.1.3302.5680
  • 24.
  • 25. Âge des citations à partir d’articles publiés en 2003 : les citations vers des articles publiés en 2001- 2002 sont celles qui contribuent au facteur d’impact; les autres ne sont pas prises en compte
  • 27.
  • 28. Les autres indicateurs Quartiles Pour un domaine donné, les revues sont classées selon leur FI Premier quartile = 25% des premiers facteurs d’impact = revues à forte notoriété
  • 29. Les autres indicateurs Le facteur d’impact (FI) et ses indicateurs associés pour évaluer la notoriété d’une revue, en 7 points, CIRAD, 2014,http://url.cirad.fr/ist/facteur-impact-indicateurs-associes Baudoin et al., Indicateurs bibliométriques, M/S : médecine sciences, vol. 20, n° 10, 2004, 909-915, http://id.erudit.org/iderudit/009339ar Indice d’immédiateté (Immediacy Index) Pour une revue, indique la rapidité avec laquelle un article est cité (nombre de citations reçues en année N / nombre d’articles publiés la même année) Indice d’immédiateté agrégé (Aggregate Immediacy Index) Même chose pour un domaine donné Demi-vie de citation (Cited Half-Life) Pour une revue, indique l’âge médian des articles qui ont été cités et rend compte de la persistance de sa notoriété à long-terme (durée au-delà de laquelle la moitié des articles de l’année de référence cesse d’être citée. EX : 6,9 (ans) pour Nature en 2002 Demi-vie de citation agrégée (Aggregate Cited Half-Life) Même chose pour un domaine donné Quartiles Pour un domaine donné, les revues sont classées selon leur FI Premier quartile = 25% des premiers facteurs d’impact = revues à forte notoriété
  • 30. West Lab + Bergstrom Lab Dept. Of Biology University of Washington Acteur Maison-mère / filiales Produits en lien avec l’IST Partenariats avec outils de métriques librement accessibles
  • 31. Créé par Carl Bergstrom et Jevin West, introduit en 2007 dans le JCR Données issues du JCR + données du site journalprices.com Basé sur le même type de concept que celui du Google Page Rank Métriques accessibles sur le site eigenfactor.org 6 mois après leur publication dans le JCR Pourcentage de l’influence totale du réseau de citations Exclusion des auto-citations (citations d’articles de la revue par des articles de la même revue)
  • 32. Eigenfactor pour Revue Y = nombre citations reçues* pendant 5 ans ----------------------------------------------------------- nombre citations reçues par les articles du JCR sur la même période *citations reçues par la revue pondérées par l’eigenfactor des revues des articles citants Valeurs normalisées : la somme des valeurs de l’Eigenfactor de toutes les revues du JCR = 100 Les 1000 revues les plus cotées ont un EF > à 0,01 Nature EF 2014 = 1.5, signifie que cette revue représente 1,5% de l’influence totale du réseau de citations Possibilité d’utiliser l’EF pour l’influence des revues, auteurs, institutions et pays (cf SSRN)
  • 33. Eigenfactor normalisé Eigenfactor multiplié par le nombre de revues du domaine comptabilisé la même année Score moyen d’un titre du JCR = 1 (addition des scores de chaque titre = nombre des titres du JCR) Nature Efn 2015 = 167 Signifie que Nature a 167 fois plus d’influence qu’un titre moyen du JCR EF 2014 Efn (2015) Nature 1.5 167 PLOS One 1.53 171 AJP-Renal Physiology 0.028 3
  • 34. Article Influence Score (AIS) Calcule le rapport entre l’Eigenfactor de la revue et le nombre d’articles publiés par cette revue sur la même période AIS moyen = 1, un AIS >1 indique une influence importante Reviews of Modern Physics AIS 2011 = 28.9002 Signifie que l’article moyen de cette revue a 28 fois l’influence de l’article moyen dans le JCR EF 2014 AIS 2014 Efn (2015) Nature 1.5 21.9 167 PLOS One 1.53 1.2 171 AJP-Renal Physiology 0.028 1.1 3
  • 36.
  • 37. Scopus Base de données bibliographiques payante lancée par Elsevier en 2004 Référence 21 000 titres de revues Propose CiteScore Metrics depuis fin 2016 Calcul proche du FI du Wos Sur 3 ans, données de l’année précédente, mise à jour annuelle Intègre tous les documents potentiellement citables (ce qui a tendance à faire baisser le score de certains titres) Exemple : The Lancet FI : 44 CS : 7,7 CiteScore Tracker : équivalent du CS mais sur les données de l’année en cours, mise à jour mensuelle
  • 38. Facteur d’impact : Cf+CR / Nr Toutes les citations vers la revue sont prises en compte, mais seulement les articles de recherche sont comptabilisés CiteScore : Cf+Cr / Nf+Nr Toutes les citations vers la revue sont prises en compte, ainsi que tous les éléments susceptibles de recevoir des citations (même s’ils sont souvent moins cités que les articles de recherche)
  • 39.
  • 40.
  • 41.
  • 42.
  • 43. Source normalized impact per paper (SNIP) : Créé par Henk Moed du Centre for Science and Technology Studies (CWTS), Université de Leyde Mesure contextuelle de l’impact de citation d’une revue : Nombre de citations d’une revue par article / potentiel de citation du domaine de la revue (plus une liste de références est longue, moindre est la valeur d’une référence) Définition (CIRAD, 2017) Impact de citation d’une revue dans un champ disciplinaire donné. Un champ disciplinaire d’une revue J est défini par l’ensemble des articles qui citent la revue J et donc l’ensemble des revues auxquels appartiennent ces articles. Le SNIP d’une revue J est le rapport entre le nombre de citations reçues par les articles de J publiés pendant les 3 années précédentes divisé par le nombre d’articles publiés par J pendant la même période, et le potentiel de citation dans le champ disciplinaire de la revue J. Le potentiel de citation indique la fréquence à laquelle les articles dans le champ disciplinaire d’une revue citent d’autres articles publiés dans les 3 années précédentes. Normalisé, une revue médiane dans son champ disciplinaire a un potentiel de citation de 1.
  • 44. West Lab + Bergstrom Lab Dept. Of Biology University of Washington Acteur Maison-mère / filiales Produits en lien avec l’IST Partenariats avec outils de métriques librement accessibles SCImago Consejo Superior de Investigaciones Cientificas (CSIC) University of Granada
  • 45. Développé par une équipe de recherche du Conseil supérieur des recherches scientifiques (CSIC, Espagne) Données issues de Scopus, accès gratuit (données 2017) Calcul basé sur le modèle du PageRank http://www.scimagojr.com/
  • 46. Facteur d’impact : mesure de la popularité EF, SJR, AIS : mesure de l’influence Différences entre Eigenfactor et Scimago Journal Rank Eigenfactor SJR Taille du réseau 11 000 titres (Wos) 21 000 titres (Scopus- Elsevier) Fenêtre de citation 5 ans 3 ans Auto-citations non Oui (max 1/3 des citations reçues)
  • 47. Scimago Journal & Country Rank
  • 48. Scimago Journal & Country Rank SJR (Scimago Journal Rank) Nombre moyen des citations pondérées reçues dans une année donnée par les documents d’une revue publiés les 3 années précédentes Index h : nombre h d’articles d’une revue ayant reçu au moins h citations (depuis 2005) Citable documents : uniquement articles, synthèses et articles de conférence Cited documents : nombre de documents cités au moins une fois dans les 3 années précédentes Uncited documents : nombre de documents non cités dans les 3 années précédentes Total references : nombre total de références bibliographiques dans une revue sur la période sélectionnée References per document : nombre moyen de références par document pour l’année sélectionnée
  • 49. Index h - Quel est l’index h d’une revue ayant 5 articles ayant été cités respectivement 17, 9, 6, 3 et 2 fois ?
  • 51. Index h - Quel est l’index h d’une revue ayant 5 articles ayant été cités respectivement 17, 9, 6, 3 et 2 fois ? Réponse : 3
  • 52. West Lab + Bergstrom Lab Dept. Of Biology University of Washington Acteur Maison-mère / filiales Produits en lien avec l’IST Partenariats avec outils de métriques librement accessibles SCImago Consejo Superior de Investigaciones Cientificas (CSIC) University of Granada
  • 53. Résumé des citations récentes pour des revues et des articles scientifiques Ne couvre que les articles publiés entre 2012 et 2016 inclus Métriques basées sur les citations pour tous les articles indexés par GS en juin 2017 Critères d’inclusion - Articles de revues provenant de sites respectant les critères d’inclusion de GS - Sélection d’articles de conférences en informatique et sciences de l’ingénieur - Preprints d’arXiv et de NBER (économie) Critères d’exclusion - jugements, brevets, ouvrages, mémoires - Publications ayant moins de 100 articles publiés entre 2012 et 2016 - Publications n’ayant reçu aucune citation pour des articles publiés entre 2012 et 2016
  • 54.
  • 55.
  • 56.
  • 57.
  • 58.
  • 59. Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais)
  • 60. Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais)
  • 61. Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais) Indice h5 : indice h des articles publiés au cours des cinq dernières années révolues. Il correspond à la valeur la plus élevée de h de façon que h articles publiés entre 2012 et 2016 sont cités au moins h fois chacun Médiane h5 : nombre moyen de fois que les articles composant son indice h5 sont cités
  • 62. Top 100 des publications dans différentes langues (sous-catégories par domaine uniquement pour les revues en anglais) Indice h5 : indice h des articles publiés au cours des cinq dernières années révolues. Il correspond à la valeur la plus élevée de h de façon que h articles publiés entre 2012 et 2016 sont cités au moins h fois chacun Médiane h5 : nombre moyen de fois que les articles composant son indice h5 sont cités H-core : ensemble des articles h les plus cités de la revue GS publie la liste des articles h5-core pour chaque revue
  • 63.
  • 64.
  • 65.
  • 66.
  • 67.
  • 69.
  • 70.
  • 75.
  • 76.
  • 77.  Quantitative evaluation should support qualitative, expert assessment  Measure performance against the research missions of the institution, group, or researcher  Protect excellence in locally relevant research  Keep data collection and analytical processes [about research] open, transparent, and simple  Allow those evaluated to verify data and analysis [about their work]  Account for variation by field in publication and citation practices  Base assessment of individual researchers [at an institutional level] on a qualitative judgement of their portfolio  Avoid misplaced concreteness and false precision [of quantitative methods of data collection]  Recognize the systemic effects of assessment and indicators and preference a “suite of indicators” over a single metric such as journal impact factor  Scrutinize indicators regularly and update them to reflect changing research ecosystems.
  • 78.
  • 79. Quid des sciences humaines et sociales ?  Limites du FI : majorité de revues anglophones recensées par le Wos (~ 3000 en sciences sociales (dont 26 françaises), ~1500 en arts et lettres (dont 70 françaises)  Supports de publication privilégiés : revues nationales + ouvrages (surtout dans certaines disciplines, en France)  Absence de bases de données recensant les revues en shs  + difficultés de définir clairement une revue « scientifique » en shs (pas aussi formalisées qu’en STM et pas toujours de processus de validation par les pairs : expertise des articles avant publication)
  • 80. Quid des sciences humaines et sociales ?  Évolutions en cours  Glissement des pratiques STM vers SHS  Augmentation de la pratique de l’article et de la revue  Anglicisation des publications (revues « internationales », collaborations, etc.)  colloque « Evaluation des productions scientifiques : des innovations en SHS », 9- 10 juin 2011, initiative de l’Institut national SHS (InShs) du CNRS  STM vs SHS ?  Passerelles de plus en plus courantes sciences-sociétés et rôle des SHS  Nécessité de prendre en compte la valeur ajoutée des Shs
  • 81. Quid des sciences humaines et sociales ?  Possibilités d’utiliser des d’outils spécifiques :  Listes disciplinaires de revues validées par l’HCERES – Haut conseil d’évaluation de l’enseignement supérieur et la recherche (pas de mise à jour récente, sauf pour économie-gestion)  Listes disciplinaires de l’ERIH – European Research Index for the Humanities, proposées par European Science Fondation – ESF en 2002 puis évolution des critères de sélection en 2014  JournalBase : base de données recensant les informations d’indexation des revues shs (HCERES, WOS et Scopus – base d’Elsevier concurrente du WOS)  2008, InShs  Référentiel RIBAC (CNRS, 2009) : Recueil d’Informations pour un oBservatoire des Activités des Chercheurs en shs  Caractérisation plutôt qu’évaluation
  • 82. Des métriques « traditionnelles » aux métriques alternatives  Nouvelles formes  de production, de communication, de mesures
  • 83.
  • 84. NOUVELLES FORMES DE PRODUCTION SCIENTIFIQUE Codes, logiciels Variété de nouveaux types de supports
  • 86. Référentiel d’évaluation des unités de recherche (pdf) : Typologie des produits et activités de la recherche http://www.hceres.fr/index.php/content/download/28678/439608/file/Referentiel%20UR.pdf
  • 87. + ÉVOLUTIONS DE LA SCIENCE - de l’impact scientifique à l’impact sociétal - ouverture à des légitimités extérieures NOUVELLES FORMES DE COMMUNICATION ET DE PARTAGE
  • 88. création et étude de nouvelles métriques basées sur le web social pour analyser et documenter la science
  • 89. 2010 : un « manifeste » pour les métriques alternatives  « Personne ne peut tout lire »  Intérêt mais limites du « peer-reviewing » (lent, ne permet plus le filtrage du volume publié)  Décompte des citations utiles mais insuffisant (non prise en compte de l’impact large)  Facteur d’impact # évaluation de l’article  Les altmetrics : les filtres de demain  Production scientifique :  + large : articles, + data + code, etc.  granularité plus fine des unités de citation  auto-publication (blogs, commentaires, annotations)  Une feuille de route  Expérimentations et recherche  Développement d’applications, de méthodes et de métriques  Développement de l’analyse sémantique du contexte de la citation  « comment et pourquoi » et pas seulement « combien »
  • 90. Comment ça marche ? Trouver et agréger les traces d’usage Identifiants Digital object identifier (DOI) ISBN • PMID • arXiv ID • URL • etc.
  • 91. Exemples de DOI http://dx.doi.org/10.5061/dryad.f6c34 : ensemble de données sur Dryad http://dx.doi.org/10.1126/science.1250092 : article dans la revue Science doi: 10.1126/science.1250092 : autre forme valide de DOI http://dx.doi.org/10.6084/m9.figshare.1286826 : poster sur Figshare
  • 92. Comment ça marche ? Trouver et agréger les traces d’usage Identifiants Digital object identifier (DOI) ISBN • PMID • arXiv ID • URL • etc. Métriques collectées Vues Mentions Citations Partages Recommandations Téléchargements Sauvegardes Commentaires Notes Classements Etc.
  • 93. Comment ça marche ? Une production scientifique (article, jeu de données, etc.) Un identifiant associé à la production (DOI, URL, ORCID, etc.) Des mentions dans les sources suivies Une API sur les sources suivies Aline Bouchard, Réseaux sociaux académiques et nouvelles métriques de la recherche, Lundis du numérique de l’Inha, 14 mars 2016, https://issuu.com/inha-paris/docs/bouchard_inha_lundisnumeriques_1403?e=0 Inspiré du site Altmetric.com : https://www.altmetric.com/about-our-data/how-it-works/
  • 94. Types de sources Exemples de sources Catalogues et bases de données commerciales ou à but non lucratif Amazon, Goodreads, Worldcat, Scopus, Web of Science, Ebsco, PubMed, CrossRef, DataCite, PLoS, Copernicus Réseaux sociaux et moteurs académiques Facebook, Twitter, Google+, LinkedIn, Google Scholar, Microsoft Academic Search, F1000Prime Réseaux de signets CiteULike, Delicious, Reddit, Pinterest, Instagram outils de gestion des références bibliographiques Mendeley, Zotero dépôts de données (et autres types de documents) Dryad, Figshare sites de dépôts de logiciels Github, SourceForge, StackOverflow archives ouvertes dSpace, ePrints, ArXiv, RePec, SSRN, PubMed Central, PubMed Central Europe sites de vidéos et de présentations Youtube, Vimeo, Slideshare bases de brevets UPSTO Blogs ResearchBlogging, ScienceSeeker, GoogleBlogs, Nature Blogs, WordPress.com, OpenEdition Autres Wikipedia, Bit.ly Sources des données
  • 95. PLOS Vues : PLOS Journals (HTML, PDF, XML), PubMed Central (HTML, PDF) Sauvegardes : CiteULike, Mendeley Citations : CrossRef, Datacite, Europe PMC, PubMed Central, Scopus, Web of Science Recommandations : F1000 Prime Discussions : PLOS Comments, Facebook, Reddit, Twitter, Wikipedia http://plumanalytics.com/learn/about-metrics/
  • 96.  fournir des informations supplémentaires  réduire l’importance de métriques qui peuvent être inappropriées (comme le seul classement des revues)  refléter l’impact des travaux qui viennent d’être publiés  légitimer tous les types de productions scientifiques  reconnaître une diversité de types d’impact (par exemple, un apport méthodologique ou une controverse)  récompenser les efforts réalisés pour faciliter la réutilisation des produits  encourager la reconnaissance de l’engagement public  faciliter l’exploration qualitative de l’impact  faciliter le choix de la publication  développer l’innovation dans l’évaluation de la recherche  Outil de découverte et de navigation  Démonstration de l’impact  Outil de veille stratégique et d’évaluation
  • 97.
  • 98. Une légitimité en construction  Différents usages pour différents acteurs  Différences entre plateformes : sources, valeurs, objectifs, etc.  Sources récentes, évolutives  Variété des aires linguistiques et disciplinaires  + sources anglophones, STM  pratiques de citations, usages des médias sociaux  Impact = attention # qualité  Impact académique / grand public  Evolution vers des métriques ouvertes ? The Metric Tide (HEFCE): pour des « métriques responsables »  Robustesse  Humilité  Transparence  Diversité  Réflexivité Google Trends pour « bibliometrics » (bleu) vs « altmetrics » (rouge) Research Trends, 2014
  • 99.
  • 100. Acteurs et outils Service / outil Création Acteur(s) Type d’acteur PLoS Article- Level Metric 2009 Public Library of Science Éditeur en libre accès (not for profit) Altmetric.com 2011 Digital Science (depuis 2012) Société privée (for profit) Plum Analytics 2011 Elsevier (depuis 2017) Société privée (for profit) ImpactStory 2011 Heather Piwowar Jason Priem Projet (not for profit) Dimensions 2018 Digital Science Société privée (for profit)
  • 101. PLos ALM Public Library of Science – Article-Level Metrics Éditeur à but non lucratif Premier à proposer des métriques au niveau de l’article : évaluation a posteriori Logiciel libre : Lagotto : collecte et agrégation des données Implémenté par d’autres éditeurs sur leur propre site Copernicus eLife
  • 102. Public Library of Science – PLoS Article Level Metrics - ALM http://www.bagtheweb.com/b/s9FQW2
  • 103. Altmetric https://www.altmetric.com/ ne pas confondre avec le site Altmetrics Start-up fondée en 2011 par Euan Adie Services aux éditeurs, institutions, entreprises Explorer, badges, API Accès gratuits Badges pour archives institutionnelles, pour chercheurs Explorer pour bibliothécaires (pas de vues institutionnelles) API pour des projets de recherche
  • 104. Altmetric.com - ses beignets (donuts) - son bookmarklet (gratuit) - son API Altmetric score = somme pondérée de la quantité d’attention reçue par un article
  • 106. Plum Analytics 2011, rachetée par Ebsco en 2014, par Elsevier en 2017 Services payants pour les institutions de recherche, financeurs Agrégation des données afin de proposer des indicateurs au niveau d’un laboratoire, d’une institution ou de tout autre groupe significatif : Plum X se positionne comme un outil de veille stratégique pour les institutions, leur permettant de faire des bilans sur leurs programmes de financements (reçus ou donnés, via PlumX+Grants), d’établir des comparaisons avec d’autres organismes (PlumX Benchmarks) de rechercher des opportunités de financement (PlumX Funding Opportunities)
  • 107. Plum Analytics – PlumX Les chercheurs ne comptent pas pour des prunes…
  • 108.
  • 109.
  • 110.
  • 111.
  • 113. Impactstory Fondée par Heather Piwowar et Jason Priem Agrégation de données pour proposer des profils de chercheurs Service gratuit aux chercheurs http://www.bagtheweb.com/b/s9FQW2
  • 114. Acteur Maison-mère / filiales Produits en lien avec l’IST Outils Altmetrics ?
  • 115. Développé par Digital Science depuis janvier 2018 Produit également ReadCube, Altmetric, Figshare, Symplectic, ÜberResearch Système de recherche d’information Réponse aux systèmes fermés basés sur les publications et les citations Développé en collaboration avec plus de 100 institutions de recherche Données sur 128 millions de publications, financements, politiques, données et métriques et 4 milliards de connexions Mise à disposition (gratuite pour chercheurs, payante pour institutions) de données de citations via l’application Dimensions https://www.dimensions.ai et via des API Métriques disponibles via l’API Dimensions Metrics et les Badges Dimensions : https://badge.dimensions.ai Réservés à des usages non-commerciaux Volonté d’ouverture et de partenariat avec la communauté scientifique
  • 116. Données sur Dimensions (janvier 2018) Données arrondies Nombre de publications enregistrées 90 millions Nombre de projets financés 3,7 millions Nombre d’essais cliniques 400 000 Nombre de brevets 35 millions Nombre d’enregistrements avec des données Altmetric 9 millions Nombre total de documents 130 millions Nombre de liens entre ces documents 4 milliards Dimensions Liens développés via apprentissage machine et IA
  • 117.