Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation L’évaluation des établisseme...
Principes fondamentaux <ul><li>Contexte législatif français : la LOLF </li></ul><ul><li>Sous-ensemble Enseignement supérie...
La cible des indicateurs <ul><li>Capacités de financement </li></ul><ul><li>Infrastructure </li></ul><ul><li>Potentiel hum...
L’enjeu des publications <ul><li>Item visible  </li></ul><ul><li>Article scientifique : indicateur privilégié (format, pér...
L’OST: un acteur, des référentiels <ul><li>G.I.P. à couverture interministérielle dans le domaine de la Recherche </li></u...
Des domaines privilégiés <ul><li>Sciences de la matière </li></ul><ul><li>Sciences de la nature et de la vie </li></ul><ul...
Le W.O.S. : 3 bases <ul><li>6650 titres  en Sciences Technologie Médecine </li></ul><ul><li>Base  Science Citation Index <...
EVALUATION DES SOURCES (Titres des revues) <ul><li>JOURNAL CITATION REPORT </li></ul><ul><li>(J.C.R.) </li></ul><ul><li>Ta...
Journal:  EMBO  J Impact Factor :  8.295    Cites in 2008  to articles published in:  2007   =  3309      2006 =  4494   0...
Bilan critique <ul><li>Modèle anglo-saxon privilégiant la recherche appliquée </li></ul><ul><li>Citations quantifiées </li...
Problématique des SHS <ul><li>Sciences sociales relativement bien couvertes dans le SSCI:  </li></ul><ul><ul><li>Economie ...
Problématique des SHS <ul><li>La base AHCI ( Arts & Humanities ) du WOS est dépourvue de modules d’évaluation statistique ...
Les alternatives <ul><li>Aux BD de référence </li></ul><ul><li>Au facteur d’impact des revues </li></ul><ul><li>Au facteur...
Les BD de référence <ul><li>Scopus </li></ul><ul><li>Scholar Google </li></ul><ul><li>DBLP (informatique) </li></ul><ul><l...
Facteurs d’impact <ul><li>Traçabilité des citations : par qui la publication citante est-elle citée ; par qui la publicati...
Réseaux de co-citations <ul><li>Autre approche des collèges invisibles </li></ul><ul><li>Citebase  (S. Harnad et T. Brody,...
Facteur H
Variantes du Facteur « H » <ul><li>Facteur « G » de Leo Egghe (Univ. Anvers) </li></ul><ul><li>Nombre « g » d'articles don...
Variantes du Facteur « H » <ul><li>Multiples facteurs dérivés sous l’application  Publish or Perish  de Will Harzing, liée...
Evaluations alternatives qualitatives <ul><li>A l’origine sur les  preprints  d’ ArXiv </li></ul><ul><li>Sur l’article, da...
Rapporter l’évaluation <ul><li>GRAAL (Universités) </li></ul><ul><li>SIGAPS (C.H.U. et organismes assimilés de Santé) </li...
Rapporter l’évaluation <ul><li>CNRS : rapport d’activité à 2 et à 4 ans </li></ul><ul><li>Fiches UR3 (fiches individuelles...
Acteurs de l’évaluation: fonction (1)   <ul><li>Type de t âche effectuée </li></ul><ul><ul><li>Repérage </li></ul></ul><ul...
Acteurs de l’évaluation: fonction (2) <ul><li>Restitution </li></ul><ul><ul><li>Avalisée directement (instance centrale) <...
Acteurs de l’évaluation: statut <ul><li>Corps des Bibliothèques  </li></ul><ul><li>Ingénieur </li></ul><ul><li>Administrat...
Acteurs de l’évaluation Formation à la t âche <ul><li>Empirique (« tas »…) </li></ul><ul><li>Stage court </li></ul><ul><li...
Acteurs de l’évaluation: évolution des méthodes <ul><li>Opportunité de travaux coopératifs </li></ul><ul><li>Mutualisation...
Conclusion 1 <ul><li>Soutenir et faire évoluer les professionnels de l’information- documentation </li></ul><ul><li>Le cas...
Conclusion 2 <ul><li>Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entit...
Conclusion 3 <ul><li>Vers un document « unique » (…?!) pour l’évaluation ? </li></ul>
Prochain SlideShare
Chargement dans…5
×

Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

2 089 vues

Publié le

Aspects techniques et institutionnels de l'évaluation bibliométrique des organismes de recherche.

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
2 089
Sur SlideShare
0
Issues des intégrations
0
Intégrations
195
Actions
Partages
0
Téléchargements
25
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation

  1. 1. Evaluation et caractérisation des entités de recherche : acteurs et méthodes en documentation L’évaluation des établissements et des politiques documentaires à l’heure de la bibliométrie MEDIADIX - URFIST Saint-Cloud 13 avril 2010 Manuel Durand-Barthez - URFIST Paris
  2. 2. Principes fondamentaux <ul><li>Contexte législatif français : la LOLF </li></ul><ul><li>Sous-ensemble Enseignement supérieur & Recherche : le programme P 150 </li></ul><ul><li>Référentiels internationaux : classements de Shanghai, de Leyde, du Times QS/THE, le PRSP de Ta ïwan… </li></ul>
  3. 3. La cible des indicateurs <ul><li>Capacités de financement </li></ul><ul><li>Infrastructure </li></ul><ul><li>Potentiel humain: </li></ul><ul><ul><li>Enseignants () chercheurs </li></ul></ul><ul><ul><li>Etudiants, dont doctorants </li></ul></ul><ul><ul><li>BIATOS </li></ul></ul><ul><li>Employabilité des étudiants sortants </li></ul><ul><li>Quotité enseignement / recherche ; etc… </li></ul>
  4. 4. L’enjeu des publications <ul><li>Item visible </li></ul><ul><li>Article scientifique : indicateur privilégié (format, périodicité) </li></ul><ul><li>Evaluation rapide via la citation </li></ul>
  5. 5. L’OST: un acteur, des référentiels <ul><li>G.I.P. à couverture interministérielle dans le domaine de la Recherche </li></ul><ul><li>Fournit des informations notamment dans trois domaines liés au P150 de la LOLF: </li></ul><ul><ul><li>Publications scientifiques </li></ul></ul><ul><ul><li>Brevets </li></ul></ul><ul><ul><li>Programmes PCRD </li></ul></ul>
  6. 6. Des domaines privilégiés <ul><li>Sciences de la matière </li></ul><ul><li>Sciences de la nature et de la vie </li></ul><ul><li>« La base de données source est le Web of Science ® de Thomson Reuters qui fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. » Méthodologie IPERU, Chap.II.1 </li></ul>
  7. 7. Le W.O.S. : 3 bases <ul><li>6650 titres en Sciences Technologie Médecine </li></ul><ul><li>Base Science Citation Index </li></ul><ul><li>1950 titres en Sciences sociales </li></ul><ul><li>Base Social Science Citation Index </li></ul><ul><li>1150 titres en Sciences humaines </li></ul><ul><li>Base Arts & Humanities Citation Index </li></ul>
  8. 8. EVALUATION DES SOURCES (Titres des revues) <ul><li>JOURNAL CITATION REPORT </li></ul><ul><li>(J.C.R.) </li></ul><ul><li>Tableau statistique annuel </li></ul><ul><li>paraît au Printemps de l’année « n+1 » </li></ul><ul><li>2008: </li></ul><ul><li>> 6500 titres analysés en STM </li></ul><ul><li>≈ 2000 en Sci. sociales </li></ul>
  9. 9. Journal: EMBO J Impact Factor : 8.295  Cites in 2008 to articles published in: 2007 = 3309  2006 = 4494 07+06 = 8303 Number of articles published in: 2007 = 454  2006 = 547 07+06 = 1001 Calculation: Cites to recent articles 8303 ------------------------------ = ---------- = 8.295 Number of recent articles 1001
  10. 10. Bilan critique <ul><li>Modèle anglo-saxon privilégiant la recherche appliquée </li></ul><ul><li>Citations quantifiées </li></ul><ul><ul><li>sans nuances, sur une « première couronne » </li></ul></ul><ul><ul><li>sans tenir compte des différences de pratique dans chaque discipline </li></ul></ul><ul><li>Absence flagrante des Sciences humaines </li></ul>
  11. 11. Problématique des SHS <ul><li>Sciences sociales relativement bien couvertes dans le SSCI: </li></ul><ul><ul><li>Economie (209 titres) </li></ul></ul><ul><ul><li>Sc. Educ. (113 titres) </li></ul></ul><ul><ul><li>Droit (104 titres) </li></ul></ul><ul><ul><li>Sociologie (100 titres) </li></ul></ul>
  12. 12. Problématique des SHS <ul><li>La base AHCI ( Arts & Humanities ) du WOS est dépourvue de modules d’évaluation statistique </li></ul><ul><li>Listes de l’AERES issues de l’ERIH European Reference Index for the Humanities. </li></ul><ul><li>Présentent des carences (dénombrement + classement) </li></ul>
  13. 13. Les alternatives <ul><li>Aux BD de référence </li></ul><ul><li>Au facteur d’impact des revues </li></ul><ul><li>Au facteur H associé aux chercheurs </li></ul><ul><li>A l’évaluation par les pairs </li></ul>
  14. 14. Les BD de référence <ul><li>Scopus </li></ul><ul><li>Scholar Google </li></ul><ul><li>DBLP (informatique) </li></ul><ul><li>Journalbase (SHS = WOS + Scopus + ERIH + AERES) env. 10.000 titres sur 21.000 entrées (initiative CNRS/TGE Adonis - Michèle Dassa & Christine Kosmopoulos) </li></ul>
  15. 15. Facteurs d’impact <ul><li>Traçabilité des citations : par qui la publication citante est-elle citée ; par qui la publication citant la citée est-elle elle-m ême citée etc… </li></ul><ul><li>Exécution itérative du PageRank de Google (méthode de la « marche aléatoire ») </li></ul><ul><li>Définition de collèges invisibles </li></ul><ul><li>Eigenfactor lié au J.C.R. (ISI) </li></ul><ul><li>Scimago Journal Rank lié à Scopus (Elsevier) </li></ul>
  16. 16. Réseaux de co-citations <ul><li>Autre approche des collèges invisibles </li></ul><ul><li>Citebase (S. Harnad et T. Brody, Univ. Southampton) lié au miroir britannique d’ ArXiv </li></ul><ul><li>CiteseerX (Pennsylvania State Univ.) domaines de l’informatique et des mathématiques appliquées </li></ul>
  17. 17. Facteur H
  18. 18. Variantes du Facteur « H » <ul><li>Facteur « G » de Leo Egghe (Univ. Anvers) </li></ul><ul><li>Nombre « g » d'articles dont la somme des nombres de citations est au moins « g2 » </li></ul><ul><ul><li>un « g-index » de 10 indique que l'auteur a écrit 10 papiers dont la somme des citations est au moins de 100 </li></ul></ul><ul><li>Il est censé remédier au « gel » des publications captées au-dessus de l’indice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes d’entre elles </li></ul>
  19. 19. Variantes du Facteur « H » <ul><li>Multiples facteurs dérivés sous l’application Publish or Perish de Will Harzing, liée à Scholar Google , tenant compte de: </li></ul><ul><ul><li>L’ancienneté de l’article </li></ul></ul><ul><ul><li>Le nombre d’auteurs </li></ul></ul><ul><ul><li>6 combinaisons résultent de l’intersection de ces deux paramètres </li></ul></ul>
  20. 20. Evaluations alternatives qualitatives <ul><li>A l’origine sur les preprints d’ ArXiv </li></ul><ul><li>Sur l’article, dans la revue m ême, type Open Access : European Geological Union </li></ul><ul><li>Sur des articles publiés dans diverses revues, par des collè ges thématiques: Faculty of 1000 liée à l’éditeur BioMed Central </li></ul>
  21. 21. Rapporter l’évaluation <ul><li>GRAAL (Universités) </li></ul><ul><li>SIGAPS (C.H.U. et organismes assimilés de Santé) </li></ul><ul><li>CRAC (Compte rendu annuel d’activité des chercheurs du CNR) restructuré en BD RIBAC (Recueil d’informations pour un observatoire des activités des chercheurs) </li></ul>
  22. 22. Rapporter l’évaluation <ul><li>CNRS : rapport d’activité à 2 et à 4 ans </li></ul><ul><li>Fiches UR3 (fiches individuelles d’activité enseignant-chercheur ou chercheur concernant les 4 dernières années) </li></ul><ul><li>Fiches AERES </li></ul><ul><li>Contrats quadriennaux </li></ul><ul><li>Contrats d’objectifs </li></ul>
  23. 23. Acteurs de l’évaluation: fonction (1) <ul><li>Type de t âche effectuée </li></ul><ul><ul><li>Repérage </li></ul></ul><ul><ul><ul><li>Adressage </li></ul></ul></ul><ul><ul><ul><li>Patronymes </li></ul></ul></ul><ul><ul><li>Comptage </li></ul></ul><ul><ul><li>Indices & facteurs </li></ul></ul><ul><ul><ul><li>Impact des revues où publié </li></ul></ul></ul><ul><ul><ul><li>Facteur H </li></ul></ul></ul>
  24. 24. Acteurs de l’évaluation: fonction (2) <ul><li>Restitution </li></ul><ul><ul><li>Avalisée directement (instance centrale) </li></ul></ul><ul><ul><li>Débattue en conseil </li></ul></ul><ul><li>Taux d’occupation </li></ul><ul><ul><li>Unique </li></ul></ul><ul><ul><li>supplémentaire </li></ul></ul>
  25. 25. Acteurs de l’évaluation: statut <ul><li>Corps des Bibliothèques </li></ul><ul><li>Ingénieur </li></ul><ul><li>Administratif </li></ul><ul><li>Enseignant-chercheur </li></ul><ul><li>Chercheur </li></ul><ul><li>« Autre »…? </li></ul>
  26. 26. Acteurs de l’évaluation Formation à la t âche <ul><li>Empirique (« tas »…) </li></ul><ul><li>Stage court </li></ul><ul><li>Spécialisée </li></ul>
  27. 27. Acteurs de l’évaluation: évolution des méthodes <ul><li>Opportunité de travaux coopératifs </li></ul><ul><li>Mutualisation des expériences ( groupes de travail associant les catégories professionnelles et les domaines disciplinaires) </li></ul><ul><li>Appels de l’ OST à enrichir et faire évoluer ses bases et modèles </li></ul><ul><li>Exemple de la coopérative EREFIN (une vingtaine d’organismes coparticipants, dont l’OST) </li></ul>
  28. 28. Conclusion 1 <ul><li>Soutenir et faire évoluer les professionnels de l’information- documentation </li></ul><ul><li>Le cas échant, impliquer les SCD pour mieux les intégrer à l’environnement universitaire, lorsque la situation s’y pr ête </li></ul>
  29. 29. Conclusion 2 <ul><li>Moduler, nuancer, faire évoluer les indicateurs dans le sens d’une caractérisation optimale des entités </li></ul><ul><li>Compter, certes oui, mais pourquoi, à quelle fin ? </li></ul>
  30. 30. Conclusion 3 <ul><li>Vers un document « unique » (…?!) pour l’évaluation ? </li></ul>

×