SlideShare une entreprise Scribd logo
1  sur  58
Télécharger pour lire hors ligne
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
1
Bibliométrie :
panorama,
critiques,
perspectives
Bibliométrie :
panorama,
critiques,
perspectives
Bibliométrie : panorama, critiques, perspectives (ED 2015 Univ.Réunion)
Par groupe, trouver 8 termes
liés à l'expression
« bibliométrie »
(éviter les synonymes)
et comparez les à la grille de bingo
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
4
? ? ?
? BIBLIOMETRIE
?
? ? ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
5
CITATIONS
? ?
? BIBLIOMETRIE
?
? ? ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
6
CITATIONS
?
PUBLISH
or
PERISH
? BIBLIOMETRIE
?
? ? ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
7
CITATIONS
?
PUBLISH
or
PERISH
? BIBLIOMETRIE
IMPACT
FACTOR
? ? ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
8
CITATIONS
?
PUBLISH
or
PERISH
? BIBLIOMETRIE
IMPACT
FACTOR
ALTMETRICS
? ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
9
CITATIONS
?
PUBLISH
or
PERISH
? BIBLIOMETRIE
IMPACT
FACTOR
ALTMETRICS
? H INDEX
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
10
CITATIONS
BASES DE
DONNÉES
BIBLIOGRAPHIQUES
PUBLISH
or
PERISH
? BIBLIOMETRIE
IMPACT
FACTOR
ALTMETRICS
? H INDEX
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
11
CITATIONS
BASES DE
DONNÉES
BIBLIOGRAPHIQUES
PUBLISH
or
PERISH
? BIBLIOMETRIE
IMPACT
FACTOR
ALTMETRICS
BIAIS
FRAUDE
CLASSEMENT
H INDEX
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
12
CITATIONS
BASES DE
DONNÉES
BIBLIOGRAPHIQUES
PUBLISH
or
PERISH
ÉVALUATION
QUALITATIVE
BIBLIOMETRIE
IMPACT
FACTOR
ALTMETRICS
BIAIS
FRAUDE
CLASSEMENT
H INDEX
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
13
➔ Définition des concepts
➔ Panorama des indicateurs
➔ Les nouvelles formes de
bibliométrie et d'évaluation de la
recherche
sommaire de la formation
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
14
la bibliométrie : définition
« méthode d’analyse quantitative de
l’activité de recherche, applicable à toutes
les entités de recherche (individus, équipes,
établissement, pays) pour mesurer le niveau
de production scientifique et son impact »
Comité national d'évaluation de la recherche (CNER)
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
15
à l'origine
Derek John de Solla Price dans
Little Science, Big Science
(1963) analyse le récent système
de communication scientifique et
jette les fondations des
techniques d’évaluation de la
recherche moderne
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
17
à l'origine
Eugene Garfield, fondateur de
l'Institute of Scientific
Information (ISI) a placé la
citation d'article au fondement
de la construction d'indicateurs
bibliométriques
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
18
Quel est le point
commun entre H-Index,
Journal Impact Factor et
le classement de
Shangaï ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
19
citation d'article
Toute la bibliométrie est basée sur l’analyse
des citations, i.e. sur les indications
bibliographiques des « Références » ou
« Bibliographie » des articles
Qui recense ?
À partir de quelle source ?
Avec quelle méthodologie ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
20
citation d'article
« Citations are signposts left behind after
information has been utilized »
L. C. Smith
« frozen footprints in the landscape of
scholarly achievement which bear witness of
the passage of ideas »
B. Cronin
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
21
citation d'article
1ère
étape
Collecte
travail colossal
impossible à mener à
bien de manière
exhaustive
2ème
étape
Construction
définir la formule
mathématique qui
permet une évaluation
chiffrée à partir des
données brutes
Pratiques de citation et de
publication très variables
d’une discipline à l’autre
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
22
critiquer les sources de citations
L’analyse bibliométrique se base sur de
larges bases de données
bibliographiques qui doivent être
évaluées au regard de leur couverture,
leurs fonctionnalités, leur disponibilité
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
23
la couverture des bases
➔ Type de documents
➔ Antériorité
➔ Domaines de recherche couverts
➔ Variété linguistique
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
25
Web of Science
1ère et principale base de
données bibliographiques pour
la production d'indicateurs
bibliométriques
Fondé dans les 60's, 12 000
revues indexées en 2014,
antériorité jusqu'à 1900
Sujet de nombreuses
critiques en raison de sa
position historique sur le
marché
3 index de citations : Science
Citation Index, Social Science
Citation Index et Art &
Humanities Citation Index
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
26
Web of Science
➔ couverture très variable en fonction des
champs de recherche
➔ limité aux citations des revues, prend mal
ou pas en compte les citations d’autres
sources (livres, actes de conférence, etc.)
➔ Biais américain : couvre principalement
Amérique du nord, Europe occidentale et en
langue anglaise (98% des articles)
➔ base payante et coûteuse
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
27
SCOPUS
Principal challenger de
Web of Science
Fondé dans les années 2000,
21 000 revues indexées,
antériorité jusqu'à 1995
Géographiquement, plus
diversifié
Plus varié dans les supports
indexés (livres, collections,
conférences)
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
28
Google Scholar
Lancé en 2004, avec
pour objectif un
couverture très large
Imprécision voire fantaisie
des résultats démontrée
Ressource gratuite
Sources indexées
confidentielles
Services aux utilisateurs : identification
des auteurs et indicateurs
bibliométriques personnalisés
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
29
Google Scholar
Lancé en 2004, avec
pour objectif un
couverture très large
Imprécision voire fantaisie
des résultats démontrée
Ressource gratuite
Sources indexées
confidentielles : bases des
revues + archives ouvertes ?
Services aux utilisateurs : identification
des auteurs et indicateurs
bibliométriques personnalisés
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
30
Les limites des bases
➔ Les corpus peuvent favoriser un champs
disciplinaire au détriment d'un autre
➔ Identification des auteurs et des revues
➔ Difficulté d'attribution
➔ Comment compter quand plusieurs versions
d'un même document sont en ligne ?
➔ Les bases sont plus complémentaires que
concurrentes
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
31
Le bon indicateur
➔ Adéquation avec l’objet
la mesure est-elle appropriée à l’objet évalué?
➔ Homogénéité dans la mesure
le mélange d'indicateurs est-il fiable ?
➔ Respect de l’inertie propre à l’objet
prendre le temps de mesurer le changement
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
32
Journal Impact Factor (jif)
jif(N) = A / B
où A = nombre de
citations pendant
l'année N des articles
parus les années N-1 et
N-2
où B = nombre
d'articles citables parus
pendant les années N-1
et N-2
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
33
Critiquer l'Impact factor
➔ N (années de référence)
Rien ne prouve l'intérêt d'une fenêtre de 2 ans
Le pic de citation est souvent plus long
➔ A (nombre de citations)
Les auto-citations sont comptabilisées
Pratiques de citations différentes entre les
disciplines
➔ B (nombre d'articles)
Variable selon la périodicité, le nombre
d'articles par numéro
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
34
Critiquer l'Impact factor
➔ Compte tenu de la marge d'erreur, les
décimales du jif ne sont pas significatives
➔ Le jif d'une revue peut être porté par
quelques articles
➔ Le jif ne distingue pas les revues populaires
des revues prestigieuses
➔ Le jif est-il le bon indicateur pour mesurer
l'impact d'une revue ? D'une article ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
35
Alternatives au jif
➔ Refuser la tyrannie du jif comme le
Research Excellence Framework
britannique
aucun comité britannique ne prendra en compte l’IF d’un
journal scientifique pour déterminer la qualité d’un résultat
de recherche soumis à évaluation
➔ Compléter le jif par de nouveaux
indicateurs complémentaires
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
36
Alternatives au jif
Y-factor
Combine le facteur d'impact et le PageRank
pour déterminer la qualité d'une citation et
pour classer les revues qui présentent un jif et
un PageRank élevé
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
37
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
38
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
39
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
42
Indicateur au niveau de l'article
Il existe une corrélation entre nombre de
téléchargements d'un article et nombre de
citations même si elle varie d'une discipline à
l'autre
Mais :
➔ difficile à établir pour un auteur donné
➔ ne prend pas en compte les nouveaux modes de
diffusion (page perso, archive ouverte, réseaux
sociaux)
➔ valorisation des articles les plus téléchargés favorise
mécaniquement ces articles
➔ fiabilité relative : calculés par les éditeurs eux-mêmes,
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
43
H-Index
Le H-Index d'un chercheur est le
plus grand nombre H de
publications tel que chaque article
a reçu au moins H citations
➔ Créé par Jorge E. Hirsch (Université de
Californie à San Diego) en 2005
➔ Tentative de résumer à la fois la
productivité et l’impact d’un chercheur
➔ Favorise les chercheurs qui publient un
flux continu de papiers influents
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
44
H-Index
Calculer le H-Index
Classer tous les articles
d'un chercheur par
ordre décroissant de
citation
Quand le rang de
l'article est supérieur
aux nombres de
citations, alors le rang
précédent équivaut au
H-Index
Rang Article Citations
1 Art D 46
2 Art B 40
3 Art G 21
4 Art A 15
5 Art C 10
6 Art F 7
7 Art E 3
8 Art H 2
9 Art I 0
Dans l'exemple ci-dessus, le H-
Index est de 6.
Le rang dépasse le nombre de
citations à l'article E (7>3). Le
rang précédent est donc le H-
Index
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
45
Critiques du H-Index (1)
➔ Désavantage les jeunes chercheurs tant
que leur nombre de publications et de
citations seront faibles
➔ Ne prend pas en compte le nombre de
co‑auteurs de la publi et leur position
relative
➔ Indicateur fortement dépendant de la
discipline
➔ Désavantage beaucoup les corpus
d'articles petits mais très fortement cités
➔ Autorise les chercheurs à se reposer sur
leurs lauriers
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
46
Critiques du H-Index (2)
➔ Ne prend pas en compte les citations
négatives
➔ Ignore la contribution de l’auteur dans le
papier
➔ Dépend de la base de données
bibliographiques utilisée
➔ Ne fonctionne qu’avec les articles, pas
avec les brevets, les billets de blog ou les
livres
➔ Ne prend pas en compte l’influence sur les
politiques publiques
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
47
Corriger le H-Index
➔ Diviser l’index par l’âge académique de
l’auteur
➔ Pondérer chaque article cité par l’âge
relatif de l’article, donnant moins de poids
aux articles les plus vieux
➔ Ajuster l’index par le nombre moyen
d’auteurs dans les H publications
➔ G-Index (Egghe) : plus grand nombre
d’articles pour lesquels il est vrai de dire que
l’ensemble des G articles ont reçu au moins G²
citations
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
49
Altérer les indicateurs
➔ Saucissonnage : découper ses travaux en plusieurs
articles ne contenant qu’un élément important de la
recherche
➔ Auto-citation ou erreur de citation
➔ frein à la prise de risques : orienter les jeunes
chercheurs vers les domaines où les résultats
s’obtiennent plus rapidement
➔ Effet de halo : citer les références ou chercheurs
qu’on estime les plus importants
➔ citations secondaires : omettre les articles de
base et ne citer que les résultats les plus récents
➔ Citation négative : les mentionner ou les éviter
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
50
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Elles sont calculées essentiellement au
niveau de l'article
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
51
Altmetrics : mesurer autrement
➔ Usages : pages HTML vue,
téléchargements PDF/XML
➔ Marque-page : Delicious, CiteULike,
Scoop.it
➔ Mentions : billet de blog, actualité,
commentaire, article Wikipédia, review
➔ Réseaux sociaux : Twitter, Facebook,
Google+, partage, ratings
➔ Citations : Web of Science, Google
Scholar, Scopus, Pubmed Central
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
52
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
53
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
54
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
55
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
56
Critique des altmetrics
Les altmétriques mesurent l'impact des
articles en dehors des espaces scientifiques
➔ Risque d’achat d’espace d’exposition pour
truquer les indicateurs
➔ Mauvaise interprétation des résultats,
innocente ou délibérée
➔ Sujets racoleurs : sexe, drogues, crime, jeu
vidéo, chocolat
➔ « Les altmétriques sont produites par et pour
des gens qui ne comprennent pas la
recherche »
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
57
L'évaluation par les pairs
Système apparue dans les années 40 pour
Science et JAMA, 1967 pour Nature
Double blind
évaluateurs et
auteurs sont
anonymes
Single blind
les évaluateurs
anonymes mais
auteur(s) connu(s)
1 ou plus rarement 2 navettes entre
évaluateurs, éditeurs et auteurs
Rapport de lecture visible uniquement par les
auteurs et l'éditeur
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
58
Évaluation alternative
➔ Révéler les noms des évaluateurs et
l’historique de la pré-publication (comme
le BMJ en 1999-2000)
➔ Transformer la soumission en Discussion
Paper archivé avec tous les commentaires
et critiques avant acceptation
(Atmospheric Chemistry and Physics)
➔ Divulguer les évaluateurs et publier les
rapports de lecture (Biology Direct, EMBO
journals, BMJ Open entre 2006-2011)
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
59
Faculty of 1000
F1000 Prime : système d'évaluation alternatif
lancé en 2002 pour la biologie et en 2006
pour la médecine
Diversification vers l'édition scientifique avec
F1000 Research et F1000 Posters
Des chercheurs reconnus évaluent et notent
des articles récemment lus dans leur
domaine selon des critères précis (changes
clinical practice, confirmation, controversial, good for
teaching, interesting hypothesis, new finding, novel
drug target, refutations)
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
61
Science
needs
timeSlow Science Manifesto
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
62
Slow Science
La Slow Science part du constat des dérives
de la Fast Science
1990 : Eugene Garfield est l’un des premiers
à en parler dans “Fast Science vs Slow
Science”
2006 : Article de la biochimiste australienne
Lisa Alleva dans Nature
2010 : apparition d'une Slow Science
Academy (Berlin) et d'un manifeste
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
63
Slow Science
Basé sur le mouvement Slow food, la Slow
Science engage à prendre du temps pour ne
pas précipiter les résultats et vérifier les
travaux de tiers
Les défenseurs de la Slow Science
préconisent de repenser l’évaluation de la
recherche, de mieux informer le public de la
réalité de la recherche (temps et financement
longs)
Ils militent également pour une autre rapport
au travail de recherche fondé sur le plaisir
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
64
Des questions ?
Plus d'informations ?
nicolas.alarcon@univ-reunion.fr
Merci de votre attention
Crédits photo :
Scientists: Are we producing too many? / MaRS Discovery District / CC by-nc-sa
Signpost / Anthony / CC by-sa

Contenu connexe

Tendances

Les métriques de la science (ou La bibliométrie pour les nuls)
Les métriques de la science (ou La bibliométrie pour les nuls)Les métriques de la science (ou La bibliométrie pour les nuls)
Les métriques de la science (ou La bibliométrie pour les nuls)URFIST de Paris
 
Bibliometrie en SHS : questions de logique et d'ethique
Bibliometrie en SHS : questions de logique et d'ethiqueBibliometrie en SHS : questions de logique et d'ethique
Bibliometrie en SHS : questions de logique et d'ethiqueManuel Durand Barthez
 
Introduction aux concepts et outils de la Bibliométrie
Introduction aux concepts et outils de la BibliométrieIntroduction aux concepts et outils de la Bibliométrie
Introduction aux concepts et outils de la BibliométrieManuel Durand Barthez
 
L'évaluation de la recherche
L'évaluation de la rechercheL'évaluation de la recherche
L'évaluation de la rechercheFrançois Gibier
 
Web of Science
Web of ScienceWeb of Science
Web of ScienceBUPMCformM
 
Mesurer l'impact des publications d'un auteur
Mesurer l'impact des publications d'un auteurMesurer l'impact des publications d'un auteur
Mesurer l'impact des publications d'un auteurDeboin
 

Tendances (9)

Les métriques de la science (ou La bibliométrie pour les nuls)
Les métriques de la science (ou La bibliométrie pour les nuls)Les métriques de la science (ou La bibliométrie pour les nuls)
Les métriques de la science (ou La bibliométrie pour les nuls)
 
Valorisation et Bibliometrie, Isabelle Henry, JeudIST IRD du 8/11/2018
Valorisation et Bibliometrie, Isabelle Henry, JeudIST IRD du 8/11/2018Valorisation et Bibliometrie, Isabelle Henry, JeudIST IRD du 8/11/2018
Valorisation et Bibliometrie, Isabelle Henry, JeudIST IRD du 8/11/2018
 
Bibliometrie en SHS : questions de logique et d'ethique
Bibliometrie en SHS : questions de logique et d'ethiqueBibliometrie en SHS : questions de logique et d'ethique
Bibliometrie en SHS : questions de logique et d'ethique
 
Donnees_de_la_Recherche
Donnees_de_la_RechercheDonnees_de_la_Recherche
Donnees_de_la_Recherche
 
Introduction aux concepts et outils de la Bibliométrie
Introduction aux concepts et outils de la BibliométrieIntroduction aux concepts et outils de la Bibliométrie
Introduction aux concepts et outils de la Bibliométrie
 
L'évaluation de la recherche
L'évaluation de la rechercheL'évaluation de la recherche
L'évaluation de la recherche
 
Evaluerl'info seance4
Evaluerl'info seance4Evaluerl'info seance4
Evaluerl'info seance4
 
Web of Science
Web of ScienceWeb of Science
Web of Science
 
Mesurer l'impact des publications d'un auteur
Mesurer l'impact des publications d'un auteurMesurer l'impact des publications d'un auteur
Mesurer l'impact des publications d'un auteur
 

En vedette

La bibliométrie en bibliothèque universitaire
La bibliométrie en bibliothèque universitaireLa bibliométrie en bibliothèque universitaire
La bibliométrie en bibliothèque universitaireHeld de Souza
 
Smart publishing social media and altmetrics for scientists
Smart publishing   social media and altmetrics for scientistsSmart publishing   social media and altmetrics for scientists
Smart publishing social media and altmetrics for scientistsWouter Gerritsma
 
Doctorat sciences - Outil de recherche : moteurs de recherche
Doctorat sciences - Outil de recherche : moteurs de rechercheDoctorat sciences - Outil de recherche : moteurs de recherche
Doctorat sciences - Outil de recherche : moteurs de rechercheFrédérique Flamerie
 
Meilleures iPhone Offres
Meilleures iPhone OffresMeilleures iPhone Offres
Meilleures iPhone Offresjimmyroggers
 
Guía para la elaboración de un artículo científico
Guía para la elaboración de un artículo científicoGuía para la elaboración de un artículo científico
Guía para la elaboración de un artículo científicoDavid Solis
 
La somme
La sommeLa somme
La sommeCCDH75
 
Relación entre estrategia y Administración de Servicios - Caso CMJ Ltd.
Relación entre estrategia y Administración de Servicios - Caso CMJ Ltd.Relación entre estrategia y Administración de Servicios - Caso CMJ Ltd.
Relación entre estrategia y Administración de Servicios - Caso CMJ Ltd.David Solis
 
Madagascar : R&D - Agriculture - Secteur public
Madagascar : R&D - Agriculture - Secteur publicMadagascar : R&D - Agriculture - Secteur public
Madagascar : R&D - Agriculture - Secteur publicZoely Mamizaka
 
Rapport cdsp loiret 2013
Rapport cdsp loiret 2013Rapport cdsp loiret 2013
Rapport cdsp loiret 2013CCDH75
 
Treball MòDul Iii Postgrau
Treball MòDul Iii PostgrauTreball MòDul Iii Postgrau
Treball MòDul Iii Postgraularapitenca08
 
A la poursuite de l’amour et d'autres choses improbables
A la poursuite de l’amour et d'autres choses improbablesA la poursuite de l’amour et d'autres choses improbables
A la poursuite de l’amour et d'autres choses improbablesZoely Mamizaka
 
Pour une approche temporalise des usages
Pour une approche temporalise des usagesPour une approche temporalise des usages
Pour une approche temporalise des usagesJCDomenget
 
Lipo 6 avis
Lipo 6 avisLipo 6 avis
Lipo 6 avismackbill
 
Calderon De La Barca Jj
Calderon De La Barca JjCalderon De La Barca Jj
Calderon De La Barca JjAdriana Gotsis
 
Competitividad Frente A La Integracion Reginal
Competitividad Frente A La Integracion ReginalCompetitividad Frente A La Integracion Reginal
Competitividad Frente A La Integracion Reginalguest065e81
 
Trabajo sesion ii bis
Trabajo sesion ii bisTrabajo sesion ii bis
Trabajo sesion ii bisDans3
 
Alpes de haute provence
Alpes de haute provenceAlpes de haute provence
Alpes de haute provenceCCDH75
 

En vedette (20)

La bibliométrie en bibliothèque universitaire
La bibliométrie en bibliothèque universitaireLa bibliométrie en bibliothèque universitaire
La bibliométrie en bibliothèque universitaire
 
Introduction à l'Open Access
Introduction à l'Open AccessIntroduction à l'Open Access
Introduction à l'Open Access
 
Circuit de la publication scientifique et Open Access (ED 2015 Univ.Reunion)
Circuit de la publication scientifique et Open Access (ED 2015 Univ.Reunion)Circuit de la publication scientifique et Open Access (ED 2015 Univ.Reunion)
Circuit de la publication scientifique et Open Access (ED 2015 Univ.Reunion)
 
Smart publishing social media and altmetrics for scientists
Smart publishing   social media and altmetrics for scientistsSmart publishing   social media and altmetrics for scientists
Smart publishing social media and altmetrics for scientists
 
Doctorat sciences - Outil de recherche : moteurs de recherche
Doctorat sciences - Outil de recherche : moteurs de rechercheDoctorat sciences - Outil de recherche : moteurs de recherche
Doctorat sciences - Outil de recherche : moteurs de recherche
 
Meilleures iPhone Offres
Meilleures iPhone OffresMeilleures iPhone Offres
Meilleures iPhone Offres
 
Guía para la elaboración de un artículo científico
Guía para la elaboración de un artículo científicoGuía para la elaboración de un artículo científico
Guía para la elaboración de un artículo científico
 
La somme
La sommeLa somme
La somme
 
Relación entre estrategia y Administración de Servicios - Caso CMJ Ltd.
Relación entre estrategia y Administración de Servicios - Caso CMJ Ltd.Relación entre estrategia y Administración de Servicios - Caso CMJ Ltd.
Relación entre estrategia y Administración de Servicios - Caso CMJ Ltd.
 
Madagascar : R&D - Agriculture - Secteur public
Madagascar : R&D - Agriculture - Secteur publicMadagascar : R&D - Agriculture - Secteur public
Madagascar : R&D - Agriculture - Secteur public
 
Rapport cdsp loiret 2013
Rapport cdsp loiret 2013Rapport cdsp loiret 2013
Rapport cdsp loiret 2013
 
Treball MòDul Iii Postgrau
Treball MòDul Iii PostgrauTreball MòDul Iii Postgrau
Treball MòDul Iii Postgrau
 
A la poursuite de l’amour et d'autres choses improbables
A la poursuite de l’amour et d'autres choses improbablesA la poursuite de l’amour et d'autres choses improbables
A la poursuite de l’amour et d'autres choses improbables
 
Pour une approche temporalise des usages
Pour une approche temporalise des usagesPour une approche temporalise des usages
Pour une approche temporalise des usages
 
Lipo 6 avis
Lipo 6 avisLipo 6 avis
Lipo 6 avis
 
Calderon De La Barca Jj
Calderon De La Barca JjCalderon De La Barca Jj
Calderon De La Barca Jj
 
Je soussign e1
Je soussign e1Je soussign e1
Je soussign e1
 
Competitividad Frente A La Integracion Reginal
Competitividad Frente A La Integracion ReginalCompetitividad Frente A La Integracion Reginal
Competitividad Frente A La Integracion Reginal
 
Trabajo sesion ii bis
Trabajo sesion ii bisTrabajo sesion ii bis
Trabajo sesion ii bis
 
Alpes de haute provence
Alpes de haute provenceAlpes de haute provence
Alpes de haute provence
 

Similaire à Bibliométrie : panorama, critiques, perspectives (ED 2015 Univ.Réunion)

Bibliométrie : panorama, critiques, perspectives
Bibliométrie : panorama, critiques, perspectivesBibliométrie : panorama, critiques, perspectives
Bibliométrie : panorama, critiques, perspectivesNicolas Alarcon
 
JABES 2015 La recherche évolue ... et les éditeurs ? / Nick Barber (Springer)
JABES 2015  La recherche évolue ... et les éditeurs ? / Nick Barber (Springer)JABES 2015  La recherche évolue ... et les éditeurs ? / Nick Barber (Springer)
JABES 2015 La recherche évolue ... et les éditeurs ? / Nick Barber (Springer)ABES
 
La bibliométrie : nouvelle frontière des bibliothèques ?
La bibliométrie : nouvelle frontière des bibliothèques ?La bibliométrie : nouvelle frontière des bibliothèques ?
La bibliométrie : nouvelle frontière des bibliothèques ?Solenn Bihan
 
La politique d’aide aux revues scientifiques de l’InSHS : bonnes pratiques et...
La politique d’aide aux revues scientifiques de l’InSHS : bonnes pratiques et...La politique d’aide aux revues scientifiques de l’InSHS : bonnes pratiques et...
La politique d’aide aux revues scientifiques de l’InSHS : bonnes pratiques et...Odile Contat
 
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...Guillaume Cabanac
 
Circuit de la publication scientifique et Open Access
Circuit de la publication scientifique et Open AccessCircuit de la publication scientifique et Open Access
Circuit de la publication scientifique et Open AccessNicolas Alarcon
 
Analyse critique de la littérature scientifique, congrès AFREK du 22/09/2011
Analyse critique de la littérature scientifique, congrès AFREK du 22/09/2011Analyse critique de la littérature scientifique, congrès AFREK du 22/09/2011
Analyse critique de la littérature scientifique, congrès AFREK du 22/09/2011Collectif GERAR
 

Similaire à Bibliométrie : panorama, critiques, perspectives (ED 2015 Univ.Réunion) (11)

Bibliométrie : panorama, critiques, perspectives
Bibliométrie : panorama, critiques, perspectivesBibliométrie : panorama, critiques, perspectives
Bibliométrie : panorama, critiques, perspectives
 
JABES 2015 La recherche évolue ... et les éditeurs ? / Nick Barber (Springer)
JABES 2015  La recherche évolue ... et les éditeurs ? / Nick Barber (Springer)JABES 2015  La recherche évolue ... et les éditeurs ? / Nick Barber (Springer)
JABES 2015 La recherche évolue ... et les éditeurs ? / Nick Barber (Springer)
 
La bibliométrie : nouvelle frontière des bibliothèques ?
La bibliométrie : nouvelle frontière des bibliothèques ?La bibliométrie : nouvelle frontière des bibliothèques ?
La bibliométrie : nouvelle frontière des bibliothèques ?
 
La politique d’aide aux revues scientifiques de l’InSHS : bonnes pratiques et...
La politique d’aide aux revues scientifiques de l’InSHS : bonnes pratiques et...La politique d’aide aux revues scientifiques de l’InSHS : bonnes pratiques et...
La politique d’aide aux revues scientifiques de l’InSHS : bonnes pratiques et...
 
M1 MEEF PC_Séance 1_2015-2016
M1 MEEF PC_Séance 1_2015-2016M1 MEEF PC_Séance 1_2015-2016
M1 MEEF PC_Séance 1_2015-2016
 
Master 1 sociologie 2015
Master 1 sociologie 2015Master 1 sociologie 2015
Master 1 sociologie 2015
 
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
 
Intervention de Nicolas Andry - Table Ronde "Métadonnées et web sémantique, l...
Intervention de Nicolas Andry - Table Ronde "Métadonnées et web sémantique, l...Intervention de Nicolas Andry - Table Ronde "Métadonnées et web sémantique, l...
Intervention de Nicolas Andry - Table Ronde "Métadonnées et web sémantique, l...
 
Nouveaux chercheurs - les enjeux de la publication
Nouveaux chercheurs - les enjeux de la publicationNouveaux chercheurs - les enjeux de la publication
Nouveaux chercheurs - les enjeux de la publication
 
Circuit de la publication scientifique et Open Access
Circuit de la publication scientifique et Open AccessCircuit de la publication scientifique et Open Access
Circuit de la publication scientifique et Open Access
 
Analyse critique de la littérature scientifique, congrès AFREK du 22/09/2011
Analyse critique de la littérature scientifique, congrès AFREK du 22/09/2011Analyse critique de la littérature scientifique, congrès AFREK du 22/09/2011
Analyse critique de la littérature scientifique, congrès AFREK du 22/09/2011
 

Plus de Bibliothèques de l'Université de La Réunion

Plus de Bibliothèques de l'Université de La Réunion (11)

UE Culture numérique L2 séance 1 Sciences
UE Culture numérique L2 séance 1 SciencesUE Culture numérique L2 séance 1 Sciences
UE Culture numérique L2 séance 1 Sciences
 
Td2 ## support articles veille 2019-09-20-ok-pour-diff
 Td2 ## support articles veille 2019-09-20-ok-pour-diff  Td2 ## support articles veille 2019-09-20-ok-pour-diff
Td2 ## support articles veille 2019-09-20-ok-pour-diff
 
Td3 ##support 2019 09-13
Td3 ##support 2019 09-13 Td3 ##support 2019 09-13
Td3 ##support 2019 09-13
 
Td1 ##support 2019 09-13
 Td1 ##support 2019 09-13 Td1 ##support 2019 09-13
Td1 ##support 2019 09-13
 
La recherche d'info TD3 Recherche catalogues, récupérer, citer et référencer...
La recherche d'info TD3  Recherche catalogues, récupérer, citer et référencer...La recherche d'info TD3  Recherche catalogues, récupérer, citer et référencer...
La recherche d'info TD3 Recherche catalogues, récupérer, citer et référencer...
 
La recherche d'info TD2 Veille, blogs, recherche d'articles en ligne
La recherche d'info TD2 Veille, blogs, recherche d'articles en ligneLa recherche d'info TD2 Veille, blogs, recherche d'articles en ligne
La recherche d'info TD2 Veille, blogs, recherche d'articles en ligne
 
La recherche d'info TD1 : web, moteurs de recherche et comment évaluer l'info
La recherche d'info TD1 : web, moteurs de recherche et comment évaluer l'infoLa recherche d'info TD1 : web, moteurs de recherche et comment évaluer l'info
La recherche d'info TD1 : web, moteurs de recherche et comment évaluer l'info
 
ETD2016 La Reunion : ETD and promotion of PhD students' research at the Unive...
ETD2016 La Reunion : ETD and promotion of PhD students' research at the Unive...ETD2016 La Reunion : ETD and promotion of PhD students' research at the Unive...
ETD2016 La Reunion : ETD and promotion of PhD students' research at the Unive...
 
C2I D4 FST TD3 Recherche catalogues, Récupérer, citer et référencer les resso...
C2I D4 FST TD3 Recherche catalogues, Récupérer, citer et référencer les resso...C2I D4 FST TD3 Recherche catalogues, Récupérer, citer et référencer les resso...
C2I D4 FST TD3 Recherche catalogues, Récupérer, citer et référencer les resso...
 
C2I D4 FST TD2 Veille, blogs, recherche d'articles en ligne
C2I D4 FST TD2 Veille, blogs, recherche d'articles en ligneC2I D4 FST TD2 Veille, blogs, recherche d'articles en ligne
C2I D4 FST TD2 Veille, blogs, recherche d'articles en ligne
 
C2I D4 FST :TD1 Recherche web, moteurs de recherche, evaluation
C2I D4 FST :TD1 Recherche web, moteurs de recherche, evaluationC2I D4 FST :TD1 Recherche web, moteurs de recherche, evaluation
C2I D4 FST :TD1 Recherche web, moteurs de recherche, evaluation
 

Bibliométrie : panorama, critiques, perspectives (ED 2015 Univ.Réunion)

  • 1. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 1 Bibliométrie : panorama, critiques, perspectives Bibliométrie : panorama, critiques, perspectives
  • 3. Par groupe, trouver 8 termes liés à l'expression « bibliométrie » (éviter les synonymes) et comparez les à la grille de bingo
  • 4. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 4 ? ? ? ? BIBLIOMETRIE ? ? ? ?
  • 5. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 5 CITATIONS ? ? ? BIBLIOMETRIE ? ? ? ?
  • 6. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 6 CITATIONS ? PUBLISH or PERISH ? BIBLIOMETRIE ? ? ? ?
  • 7. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 7 CITATIONS ? PUBLISH or PERISH ? BIBLIOMETRIE IMPACT FACTOR ? ? ?
  • 8. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 8 CITATIONS ? PUBLISH or PERISH ? BIBLIOMETRIE IMPACT FACTOR ALTMETRICS ? ?
  • 9. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 9 CITATIONS ? PUBLISH or PERISH ? BIBLIOMETRIE IMPACT FACTOR ALTMETRICS ? H INDEX
  • 10. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 10 CITATIONS BASES DE DONNÉES BIBLIOGRAPHIQUES PUBLISH or PERISH ? BIBLIOMETRIE IMPACT FACTOR ALTMETRICS ? H INDEX
  • 11. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 11 CITATIONS BASES DE DONNÉES BIBLIOGRAPHIQUES PUBLISH or PERISH ? BIBLIOMETRIE IMPACT FACTOR ALTMETRICS BIAIS FRAUDE CLASSEMENT H INDEX
  • 12. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 12 CITATIONS BASES DE DONNÉES BIBLIOGRAPHIQUES PUBLISH or PERISH ÉVALUATION QUALITATIVE BIBLIOMETRIE IMPACT FACTOR ALTMETRICS BIAIS FRAUDE CLASSEMENT H INDEX
  • 13. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 13 ➔ Définition des concepts ➔ Panorama des indicateurs ➔ Les nouvelles formes de bibliométrie et d'évaluation de la recherche sommaire de la formation
  • 14. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 14 la bibliométrie : définition « méthode d’analyse quantitative de l’activité de recherche, applicable à toutes les entités de recherche (individus, équipes, établissement, pays) pour mesurer le niveau de production scientifique et son impact » Comité national d'évaluation de la recherche (CNER)
  • 15. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 15 à l'origine Derek John de Solla Price dans Little Science, Big Science (1963) analyse le récent système de communication scientifique et jette les fondations des techniques d’évaluation de la recherche moderne
  • 16. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 17 à l'origine Eugene Garfield, fondateur de l'Institute of Scientific Information (ISI) a placé la citation d'article au fondement de la construction d'indicateurs bibliométriques
  • 17. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 18 Quel est le point commun entre H-Index, Journal Impact Factor et le classement de Shangaï ?
  • 18. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 19 citation d'article Toute la bibliométrie est basée sur l’analyse des citations, i.e. sur les indications bibliographiques des « Références » ou « Bibliographie » des articles Qui recense ? À partir de quelle source ? Avec quelle méthodologie ?
  • 19. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 20 citation d'article « Citations are signposts left behind after information has been utilized » L. C. Smith « frozen footprints in the landscape of scholarly achievement which bear witness of the passage of ideas » B. Cronin
  • 20. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 21 citation d'article 1ère étape Collecte travail colossal impossible à mener à bien de manière exhaustive 2ème étape Construction définir la formule mathématique qui permet une évaluation chiffrée à partir des données brutes Pratiques de citation et de publication très variables d’une discipline à l’autre
  • 21. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 22 critiquer les sources de citations L’analyse bibliométrique se base sur de larges bases de données bibliographiques qui doivent être évaluées au regard de leur couverture, leurs fonctionnalités, leur disponibilité
  • 22. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 23 la couverture des bases ➔ Type de documents ➔ Antériorité ➔ Domaines de recherche couverts ➔ Variété linguistique
  • 23. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 25 Web of Science 1ère et principale base de données bibliographiques pour la production d'indicateurs bibliométriques Fondé dans les 60's, 12 000 revues indexées en 2014, antériorité jusqu'à 1900 Sujet de nombreuses critiques en raison de sa position historique sur le marché 3 index de citations : Science Citation Index, Social Science Citation Index et Art & Humanities Citation Index
  • 24. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 26 Web of Science ➔ couverture très variable en fonction des champs de recherche ➔ limité aux citations des revues, prend mal ou pas en compte les citations d’autres sources (livres, actes de conférence, etc.) ➔ Biais américain : couvre principalement Amérique du nord, Europe occidentale et en langue anglaise (98% des articles) ➔ base payante et coûteuse
  • 25. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 27 SCOPUS Principal challenger de Web of Science Fondé dans les années 2000, 21 000 revues indexées, antériorité jusqu'à 1995 Géographiquement, plus diversifié Plus varié dans les supports indexés (livres, collections, conférences)
  • 26. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 28 Google Scholar Lancé en 2004, avec pour objectif un couverture très large Imprécision voire fantaisie des résultats démontrée Ressource gratuite Sources indexées confidentielles Services aux utilisateurs : identification des auteurs et indicateurs bibliométriques personnalisés
  • 27. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 29 Google Scholar Lancé en 2004, avec pour objectif un couverture très large Imprécision voire fantaisie des résultats démontrée Ressource gratuite Sources indexées confidentielles : bases des revues + archives ouvertes ? Services aux utilisateurs : identification des auteurs et indicateurs bibliométriques personnalisés
  • 28. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 30 Les limites des bases ➔ Les corpus peuvent favoriser un champs disciplinaire au détriment d'un autre ➔ Identification des auteurs et des revues ➔ Difficulté d'attribution ➔ Comment compter quand plusieurs versions d'un même document sont en ligne ? ➔ Les bases sont plus complémentaires que concurrentes
  • 29. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 31 Le bon indicateur ➔ Adéquation avec l’objet la mesure est-elle appropriée à l’objet évalué? ➔ Homogénéité dans la mesure le mélange d'indicateurs est-il fiable ? ➔ Respect de l’inertie propre à l’objet prendre le temps de mesurer le changement
  • 30. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 32 Journal Impact Factor (jif) jif(N) = A / B où A = nombre de citations pendant l'année N des articles parus les années N-1 et N-2 où B = nombre d'articles citables parus pendant les années N-1 et N-2
  • 31. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 33 Critiquer l'Impact factor ➔ N (années de référence) Rien ne prouve l'intérêt d'une fenêtre de 2 ans Le pic de citation est souvent plus long ➔ A (nombre de citations) Les auto-citations sont comptabilisées Pratiques de citations différentes entre les disciplines ➔ B (nombre d'articles) Variable selon la périodicité, le nombre d'articles par numéro
  • 32. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 34 Critiquer l'Impact factor ➔ Compte tenu de la marge d'erreur, les décimales du jif ne sont pas significatives ➔ Le jif d'une revue peut être porté par quelques articles ➔ Le jif ne distingue pas les revues populaires des revues prestigieuses ➔ Le jif est-il le bon indicateur pour mesurer l'impact d'une revue ? D'une article ?
  • 33. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 35 Alternatives au jif ➔ Refuser la tyrannie du jif comme le Research Excellence Framework britannique aucun comité britannique ne prendra en compte l’IF d’un journal scientifique pour déterminer la qualité d’un résultat de recherche soumis à évaluation ➔ Compléter le jif par de nouveaux indicateurs complémentaires
  • 34. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 36 Alternatives au jif Y-factor Combine le facteur d'impact et le PageRank pour déterminer la qualité d'une citation et pour classer les revues qui présentent un jif et un PageRank élevé
  • 35. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 37 Alternatives au jif Eigenfactor Ratio de citations reçues par l’ensemble des articles de la revue au cours des 5 dernières années sur le total de citations reçues par l’ensemble des articles des revues enregistrées dans le JCR sur la même période. Intègre dans son calcul le prestige des revues citantes.
  • 36. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 38 Alternatives au jif Eigenfactor Ratio de citations reçues par l’ensemble des articles de la revue au cours des 5 dernières années sur le total de citations reçues par l’ensemble des articles des revues enregistrées dans le JCR sur la même période. Intègre dans son calcul le prestige des revues citantes.
  • 37. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 39 Alternatives au jif Eigenfactor Ratio de citations reçues par l’ensemble des articles de la revue au cours des 5 dernières années sur le total de citations reçues par l’ensemble des articles des revues enregistrées dans le JCR sur la même période. Intègre dans son calcul le prestige des revues citantes.
  • 38. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 42 Indicateur au niveau de l'article Il existe une corrélation entre nombre de téléchargements d'un article et nombre de citations même si elle varie d'une discipline à l'autre Mais : ➔ difficile à établir pour un auteur donné ➔ ne prend pas en compte les nouveaux modes de diffusion (page perso, archive ouverte, réseaux sociaux) ➔ valorisation des articles les plus téléchargés favorise mécaniquement ces articles ➔ fiabilité relative : calculés par les éditeurs eux-mêmes,
  • 39. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 43 H-Index Le H-Index d'un chercheur est le plus grand nombre H de publications tel que chaque article a reçu au moins H citations ➔ Créé par Jorge E. Hirsch (Université de Californie à San Diego) en 2005 ➔ Tentative de résumer à la fois la productivité et l’impact d’un chercheur ➔ Favorise les chercheurs qui publient un flux continu de papiers influents
  • 40. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 44 H-Index Calculer le H-Index Classer tous les articles d'un chercheur par ordre décroissant de citation Quand le rang de l'article est supérieur aux nombres de citations, alors le rang précédent équivaut au H-Index Rang Article Citations 1 Art D 46 2 Art B 40 3 Art G 21 4 Art A 15 5 Art C 10 6 Art F 7 7 Art E 3 8 Art H 2 9 Art I 0 Dans l'exemple ci-dessus, le H- Index est de 6. Le rang dépasse le nombre de citations à l'article E (7>3). Le rang précédent est donc le H- Index
  • 41. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 45 Critiques du H-Index (1) ➔ Désavantage les jeunes chercheurs tant que leur nombre de publications et de citations seront faibles ➔ Ne prend pas en compte le nombre de co‑auteurs de la publi et leur position relative ➔ Indicateur fortement dépendant de la discipline ➔ Désavantage beaucoup les corpus d'articles petits mais très fortement cités ➔ Autorise les chercheurs à se reposer sur leurs lauriers
  • 42. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 46 Critiques du H-Index (2) ➔ Ne prend pas en compte les citations négatives ➔ Ignore la contribution de l’auteur dans le papier ➔ Dépend de la base de données bibliographiques utilisée ➔ Ne fonctionne qu’avec les articles, pas avec les brevets, les billets de blog ou les livres ➔ Ne prend pas en compte l’influence sur les politiques publiques
  • 43. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 47 Corriger le H-Index ➔ Diviser l’index par l’âge académique de l’auteur ➔ Pondérer chaque article cité par l’âge relatif de l’article, donnant moins de poids aux articles les plus vieux ➔ Ajuster l’index par le nombre moyen d’auteurs dans les H publications ➔ G-Index (Egghe) : plus grand nombre d’articles pour lesquels il est vrai de dire que l’ensemble des G articles ont reçu au moins G² citations
  • 44. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 49 Altérer les indicateurs ➔ Saucissonnage : découper ses travaux en plusieurs articles ne contenant qu’un élément important de la recherche ➔ Auto-citation ou erreur de citation ➔ frein à la prise de risques : orienter les jeunes chercheurs vers les domaines où les résultats s’obtiennent plus rapidement ➔ Effet de halo : citer les références ou chercheurs qu’on estime les plus importants ➔ citations secondaires : omettre les articles de base et ne citer que les résultats les plus récents ➔ Citation négative : les mentionner ou les éviter
  • 45. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 50 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Elles sont calculées essentiellement au niveau de l'article Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
  • 46. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 51 Altmetrics : mesurer autrement ➔ Usages : pages HTML vue, téléchargements PDF/XML ➔ Marque-page : Delicious, CiteULike, Scoop.it ➔ Mentions : billet de blog, actualité, commentaire, article Wikipédia, review ➔ Réseaux sociaux : Twitter, Facebook, Google+, partage, ratings ➔ Citations : Web of Science, Google Scholar, Scopus, Pubmed Central
  • 47. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 52 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
  • 48. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 53 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
  • 49. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 54 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
  • 50. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 55 Altmetrics : mesurer autrement L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
  • 51. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 56 Critique des altmetrics Les altmétriques mesurent l'impact des articles en dehors des espaces scientifiques ➔ Risque d’achat d’espace d’exposition pour truquer les indicateurs ➔ Mauvaise interprétation des résultats, innocente ou délibérée ➔ Sujets racoleurs : sexe, drogues, crime, jeu vidéo, chocolat ➔ « Les altmétriques sont produites par et pour des gens qui ne comprennent pas la recherche »
  • 52. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 57 L'évaluation par les pairs Système apparue dans les années 40 pour Science et JAMA, 1967 pour Nature Double blind évaluateurs et auteurs sont anonymes Single blind les évaluateurs anonymes mais auteur(s) connu(s) 1 ou plus rarement 2 navettes entre évaluateurs, éditeurs et auteurs Rapport de lecture visible uniquement par les auteurs et l'éditeur
  • 53. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 58 Évaluation alternative ➔ Révéler les noms des évaluateurs et l’historique de la pré-publication (comme le BMJ en 1999-2000) ➔ Transformer la soumission en Discussion Paper archivé avec tous les commentaires et critiques avant acceptation (Atmospheric Chemistry and Physics) ➔ Divulguer les évaluateurs et publier les rapports de lecture (Biology Direct, EMBO journals, BMJ Open entre 2006-2011)
  • 54. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 59 Faculty of 1000 F1000 Prime : système d'évaluation alternatif lancé en 2002 pour la biologie et en 2006 pour la médecine Diversification vers l'édition scientifique avec F1000 Research et F1000 Posters Des chercheurs reconnus évaluent et notent des articles récemment lus dans leur domaine selon des critères précis (changes clinical practice, confirmation, controversial, good for teaching, interesting hypothesis, new finding, novel drug target, refutations)
  • 55. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 61 Science needs timeSlow Science Manifesto
  • 56. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 62 Slow Science La Slow Science part du constat des dérives de la Fast Science 1990 : Eugene Garfield est l’un des premiers à en parler dans “Fast Science vs Slow Science” 2006 : Article de la biochimiste australienne Lisa Alleva dans Nature 2010 : apparition d'une Slow Science Academy (Berlin) et d'un manifeste
  • 57. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 63 Slow Science Basé sur le mouvement Slow food, la Slow Science engage à prendre du temps pour ne pas précipiter les résultats et vérifier les travaux de tiers Les défenseurs de la Slow Science préconisent de repenser l’évaluation de la recherche, de mieux informer le public de la réalité de la recherche (temps et financement longs) Ils militent également pour une autre rapport au travail de recherche fondé sur le plaisir
  • 58. 31 mars 2015 Bibliométrie et évaluation de la recherche – Formation Écoles doctorales 64 Des questions ? Plus d'informations ? nicolas.alarcon@univ-reunion.fr Merci de votre attention Crédits photo : Scientists: Are we producing too many? / MaRS Discovery District / CC by-nc-sa Signpost / Anthony / CC by-sa