Evaluation et caractérisation des
entités de recherche : acteurs et
méthodes en documentation
L’évaluation des établisseme...
Principes fondamentaux
Contexte législatif français : la LOLF
Sous-ensemble Enseignement
supérieur & Recherche : le prog...
La cible des indicateurs
Capacités de financement
Infrastructure
Potentiel humain:
 Enseignants () chercheurs
 Etudia...
L’enjeu des publications
Item visible
Article scientifique : indicateur privilégié
(format, périodicité)
Evaluation rap...
L’OST: un acteur, des
référentiels
G.I.P. à couverture interministérielle dans le
domaine de la Recherche
Fournit des in...
Des domaines privilégiés
Sciences de la matière
Sciences de la nature et de la vie
« La base de données source est le W...
Le W.O.S. : 3 bases
6650 titres6650 titres en Sciences Technologie
Médecine
Base Science Citation Index
1950 titres1950 ...
EVALUATION DES SOURCES
(Titres des revues)
JOURNAL CITATION REPORTJOURNAL CITATION REPORT
(J.C.R.)(J.C.R.)
Tableau statist...
Journal: EMBO J
Impact Factor: 8.295
Cites in 2008 to articles published in: 2007 = 3309
2006 = 4494
07+06 = 8303
Number o...
Bilan critique
Modèle anglo-saxon privilégiant la
recherche appliquée
Citations quantifiées
 sans nuances, sur une « pr...
Problématique des SHS
Sciences sociales relativement
bien couvertes dans le SSCI:
 Economie (209 titres)
 Sc. Educ. (11...
Problématique des SHS
La base AHCI (Arts & Humanities) du
WOS est dépourvue de modules
d’évaluation statistique
Listes d...
Les alternatives
Aux BD de référence
Au facteur d’impact des
revues
Au facteur H associé aux
chercheurs
A l’évaluation...
Les BD de référence
Scopus
Scholar Google
DBLP (informatique)
Journalbase (SHS = WOS + Scopus +
ERIH + AERES) env. 10....
Facteurs d’impact
Traçabilité des citations : par qui la
publication citante est-elle citée ; par qui la
publication cita...
Réseaux de co-citations
Autre approche des collèges invisibles
Citebase (S. Harnad et T. Brody, Univ.
Southampton) lié a...
Facteur H
Variantes du Facteur « H »
Facteur « G » de Leo Egghe (Univ. Anvers)
Nombre « g » d'articles dont la somme desNombre « g...
Variantes du Facteur « H »
Multiples facteurs dérivés sous
l’application Publish or Perish de Will
Harzing, liée à Schola...
Evaluations alternatives qualitatives
A l’origine sur les preprints d’ArXiv
Sur l’article, dans la revue même, type
Open...
Rapporter l’évaluation
GRAAL (Universités)
SIGAPS (C.H.U. et organismes
assimilés de Santé)
CRAC (Compte rendu annuel d...
Rapporter l’évaluation
CNRS : rapport d’activité à 2 et à 4 ans
Fiches UR3 (fiches individuelles
d’activité enseignant-c...
Acteurs de l’évaluation: fonction (1)
Type de tâche effectuée
 Repérage
 Adressage
 Patronymes
 Comptage
 Indices & ...
Acteurs de l’évaluation: fonction (2)
Restitution
 Avalisée directement (instance
centrale)
 Débattue en conseil
Taux ...
Acteurs de l’évaluation: statut
Corps des Bibliothèques
Ingénieur
Administratif
Enseignant-chercheur
Chercheur
« Aut...
Acteurs de l’évaluation
Formation à la tâche
Empirique (« tas »…)
Stage court
Spécialisée
Acteurs de l’évaluation:
évolution des méthodes
Opportunité de travaux coopératifs
Mutualisation des expériences (groupe...
Conclusion 1
Soutenir et faire évoluer les
professionnels de l’information-
documentation
Le cas échant, impliquer les S...
Conclusion 2
Moduler, nuancer, faire
évoluer les indicateurs dans
le sens d’une caractérisation
optimale des entités
Com...
Conclusion 3
Vers un document
« unique » (…?!)
pour l’évaluation ?
Prochain SlideShare
Chargement dans…5
×

Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

1 061 vues

Publié le

Aspects techniques et institutionnels de l'évaluation bibliométrique des organismes de recherche.

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
1 061
Sur SlideShare
0
Issues des intégrations
0
Intégrations
20
Actions
Partages
0
Téléchargements
6
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

  1. 1. Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation L’évaluation des établissements et des politiques documentaires à l’heure de la bibliométrie MEDIADIX - URFIST Saint-Cloud 13 avril 2010 Manuel Durand-Barthez - URFIST Paris
  2. 2. Principes fondamentaux Contexte législatif français : la LOLF Sous-ensemble Enseignement supérieur & Recherche : le programme P 150 Référentiels internationaux : classements de Shanghai, de Leyde, du Times QS/THE, le PRSP de Taïwan…
  3. 3. La cible des indicateurs Capacités de financement Infrastructure Potentiel humain:  Enseignants () chercheurs  Etudiants, dont doctorants  BIATOS Employabilité des étudiants sortants Quotité enseignement / recherche ; etc…
  4. 4. L’enjeu des publications Item visible Article scientifique : indicateur privilégié (format, périodicité) Evaluation rapide via la citation
  5. 5. L’OST: un acteur, des référentiels G.I.P. à couverture interministérielle dans le domaine de la Recherche Fournit des informations notamment dans trois domaines liés au P150 de la LOLF:  Publications scientifiques  Brevets  Programmes PCRD
  6. 6. Des domaines privilégiés Sciences de la matière Sciences de la nature et de la vie « La base de données source est le Web of Science® de Thomson Reuters qui fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. » Méthodologie IPERU, Chap.II.1
  7. 7. Le W.O.S. : 3 bases 6650 titres6650 titres en Sciences Technologie Médecine Base Science Citation Index 1950 titres1950 titres en Sciences sociales Base Social Science Citation Index 1150 titres1150 titres en Sciences humaines Base Arts & Humanities Citation Index
  8. 8. EVALUATION DES SOURCES (Titres des revues) JOURNAL CITATION REPORTJOURNAL CITATION REPORT (J.C.R.)(J.C.R.) Tableau statistique annuel paraît au Printemps de l’année « n+1 » 2008: > 6500 titres analysés en STM ≈ 2000 en Sci. sociales
  9. 9. Journal: EMBO J Impact Factor: 8.295 Cites in 2008 to articles published in: 2007 = 3309 2006 = 4494 07+06 = 8303 Number of articles published in: 2007 = 454 2006 = 547 07+06 = 1001 Calculation: Cites to recent articles 8303 ------------------------------ = ---------- = 8.295 Number of recent articles 1001
  10. 10. Bilan critique Modèle anglo-saxon privilégiant la recherche appliquée Citations quantifiées  sans nuances, sur une « première couronne »  sans tenir compte des différences de pratique dans chaque discipline Absence flagrante des Sciences humaines
  11. 11. Problématique des SHS Sciences sociales relativement bien couvertes dans le SSCI:  Economie (209 titres)  Sc. Educ. (113 titres)  Droit (104 titres)  Sociologie (100 titres)
  12. 12. Problématique des SHS La base AHCI (Arts & Humanities) du WOS est dépourvue de modules d’évaluation statistique Listes de l’AERES issues de l’ERIH European Reference Index for the Humanities. Présentent des carences (dénombrement + classement)
  13. 13. Les alternatives Aux BD de référence Au facteur d’impact des revues Au facteur H associé aux chercheurs A l’évaluation par les pairs
  14. 14. Les BD de référence Scopus Scholar Google DBLP (informatique) Journalbase (SHS = WOS + Scopus + ERIH + AERES) env. 10.000 titres sur 21.000 entrées (initiative CNRS/TGE Adonis - Michèle Dassa & Christine Kosmopoulos)
  15. 15. Facteurs d’impact Traçabilité des citations : par qui la publication citante est-elle citée ; par qui la publication citant la citée est-elle elle-même citée etc… Exécution itérative du PageRank de Google (méthode de la « marche aléatoire ») Définition de collèges invisibles Eigenfactor lié au J.C.R. (ISI) Scimago Journal Rank lié à Scopus (Elsevier)
  16. 16. Réseaux de co-citations Autre approche des collèges invisibles Citebase (S. Harnad et T. Brody, Univ. Southampton) lié au miroir britannique d’ArXiv CiteseerX (Pennsylvania State Univ.) domaines de l’informatique et des mathématiques appliquées
  17. 17. Facteur H
  18. 18. Variantes du Facteur « H » Facteur « G » de Leo Egghe (Univ. Anvers) Nombre « g » d'articles dont la somme desNombre « g » d'articles dont la somme des nombres de citations est au moins « g2 »nombres de citations est au moins « g2 »  un « g-index » de 10 indique que l'auteur a écrit 10un « g-index » de 10 indique que l'auteur a écrit 10 papiers dont la somme des citations est au moinspapiers dont la somme des citations est au moins de 100de 100 Il est censé remédier au « gel » desIl est censé remédier au « gel » des publications captées au-dessus de l’indice Hpublications captées au-dessus de l’indice H en tenant compte du nombreen tenant compte du nombre exceptionnellement élevé de citationsexceptionnellement élevé de citations générées par quelques-unes d’entre ellesgénérées par quelques-unes d’entre elles
  19. 19. Variantes du Facteur « H » Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google, tenant compte de:  L’ancienneté de l’article  Le nombre d’auteurs  6 combinaisons résultent de l’intersection de ces deux paramètres
  20. 20. Evaluations alternatives qualitatives A l’origine sur les preprints d’ArXiv Sur l’article, dans la revue même, type Open Access : European Geological Union Sur des articles publiés dans diverses revues, par des collèges thématiques: Faculty of 1000 liée à l’éditeur BioMed Central
  21. 21. Rapporter l’évaluation GRAAL (Universités) SIGAPS (C.H.U. et organismes assimilés de Santé) CRAC (Compte rendu annuel d’activité des chercheurs du CNR) restructuré en BD RIBAC (Recueil d’informations pour un observatoire des activités des chercheurs)
  22. 22. Rapporter l’évaluation CNRS : rapport d’activité à 2 et à 4 ans Fiches UR3 (fiches individuelles d’activité enseignant-chercheur ou chercheur concernant les 4 dernières années) Fiches AERES Contrats quadriennaux Contrats d’objectifs
  23. 23. Acteurs de l’évaluation: fonction (1) Type de tâche effectuée  Repérage  Adressage  Patronymes  Comptage  Indices & facteurs  Impact des revues où publié  Facteur H
  24. 24. Acteurs de l’évaluation: fonction (2) Restitution  Avalisée directement (instance centrale)  Débattue en conseil Taux d’occupation  Unique  supplémentaire
  25. 25. Acteurs de l’évaluation: statut Corps des Bibliothèques Ingénieur Administratif Enseignant-chercheur Chercheur « Autre »…?
  26. 26. Acteurs de l’évaluation Formation à la tâche Empirique (« tas »…) Stage court Spécialisée
  27. 27. Acteurs de l’évaluation: évolution des méthodes Opportunité de travaux coopératifs Mutualisation des expériences (groupes de travail associant les catégories professionnelles et les domaines disciplinaires) Appels de l’OST à enrichir et faire évoluer ses bases et modèles Exemple de la coopérative EREFIN (une vingtaine d’organismes coparticipants, dont l’OST)
  28. 28. Conclusion 1 Soutenir et faire évoluer les professionnels de l’information- documentation Le cas échant, impliquer les SCD pour mieux les intégrer à l’environnement universitaire, lorsque la situation s’y prête
  29. 29. Conclusion 2 Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités Compter, certes oui, mais pourquoi, à quelle fin ?
  30. 30. Conclusion 3 Vers un document « unique » (…?!) pour l’évaluation ?

×