Colloque Open access et évaluation
de la recherche
Toulouse les 13 et 14 octobre 2016
Colloque organisé par le réseau « Ar...
Intervenants :
• J.-C. Guédon, Professeur de littérature
comparée à l'Université de Montréal,
Québec, signataire de la Déc...
• Chérifa Boukacem-Zeghmouri, Co-
responsable de l'Unité Régionale de
Formation à l'Information Scientifique
et Technique ...
Constats :
• la reconnaissance de revues
prestigieuses aux coûts
d’abonnement élevé, à diffusion
plus lente et accès payan...
2. Le problème du facteur d’impact ?
• Est devenu dans certaines disciplines le seul critère de reconnaissance de
la valeu...
Objectifs du colloque
• Faire le point sur les modifications en cours
concernant :
– les méthodes d’évaluation institution...
I) De nouvelles méthodes
d’évaluation dans les revues, épi-
revues ou blogs de recherche :
• Exemple de la revue Plos One, revue scientifique en libre accès
• Volonté d’apporter plus de transparence et plus d’ouve...
Système d’évaluation double, avant et
après acceptation du manuscrit
AVANT ACCEPTATION :
• Évaluation par l’éditeur et le
...
Système d’évaluation après
publication du manuscrit
• L’évaluation de l’impact de l’article est possible grâce à
l’utilisa...
Dans les épi-revues
• La plate-forme Episciences qui héberge les épi-revues a été créée
par le CCSD (si on a un compte dan...
Episciences fournit une plate-forme technique d’examen par les pairs
Intérêts des épi-revues (1) :
Intérêts des épi-revues (2) :
• Permettent une réappropriation du workflow par les
communautés scientifiques, qui peuvent ...
Avantages des évaluations
des épi-revues :
• Les critères de la grille de relecture peuvent être
rendus visibles et non an...
Dans les blogs de recherche
• Création du SJS Self Journal of science par
Michaël Bon
Intérêts du self-journal :
• réappropriation du workflow par le chercheur
• conçu comme un espace personnalisé pour
les sc...
Idée centrale du SJS
• faire table rase des fonctions de rédacteur en
chef et de comité de rédaction voire de la
notion mê...
Expérimentations du projet OpenAire
• Dans la revue VertigO (revue québécoise en
sciences de l’environnement)
• Initiative...
Principes :
• A partir d’articles non publiés dans des revues
ou susceptibles de corrections, le sociologue
Julien Bordier...
Bilans
• Vrai défi d’aller chercher les évaluateurs, même si sur
internet
• A permis d’établir un dialogue entre l’évaluat...
Limites
• des limites techniques se sont présentées
pour les annotations dans le texte (il fallait
installer un plug-in, e...
Intérêts
• Les outils numériques permettent de
reconstituer sous d’autres formes le
processus du débat scientifique.
• Com...
II) L’évaluation de la recherche : les
méthodes instituées et les
nouveautés possibles
La question de la récompense des
chercheurs dans les Universités
européennes
• les méthodes traditionnelles demeurent avec...
Le cas du Royaume-Uni
• le rapport Finch de 2012 a eu un fort impact
sur les critères d’évaluation
– RAPPEL : le rapport F...
Avancées concrètes
• une notion d’open access sera intégrée pour la
campagne REF (Opérateur de la campagne d’évaluation
de...
Conditions
• Pour que le dossier d’évaluation soit éligible
pour la campagne de REF 2021, il faut que les
publications des...
Concernant les APCs
(Article processing charges)
• des négociations avec les éditeurs pour une
réduction des APCs ont été ...
La situation en France
• CP-CNU :
• Pas de prise en compte de l’OA pour les
promotions des chercheurs pour l’instant
• HCE...
Nouveautés dans les évaluations de
l’HCERES
• dans la méthodologie du dossier d’évaluation,
avec une reconfiguration du do...
méthodologie du dossier d’évaluation (1)
• le nombre de critères va être limité, et les
évaluations recentrées sur les pro...
méthodologie du dossier d’évaluation (2)
• Une importance est accordée dans les dossiers
d’évaluation à l’accès à l’inform...
mode de saisie du dossier
• Volonté que la plate-forme de dépôt de
l’HCERES aspire ce qui est sur HAL (pour éviter
des dou...
Problèmes à résoudre (1)
• pour la transparence, il faudra trancher
concernant la publicité des résultats de
l’évaluation
...
Problèmes à résoudre (2)
• Les obstacles concrets à la mise en place de ce portail
sont
– la loi de juillet 2013 sur l’ESR...
III) Les nouvelles pratiques de
consultation et de diffusion en ligne
Le FI et les SHS : un problème concret
Revues très
réputées
en SHS
Elles ne sont pas
répertoriées
Problème de l’expertise
• Pools d’experts pour recenser les revues en sciences
humaines, qui sont essentiellement composés...
DHDP = nombre d’experts / nombre de membres de la communauté soit E/M,
où est le nombre d’experts et E le nombre de person...
Et pourtant…
64 millions de visites en
2015 !
• Notion très importante dans les SHS :
• la sérendipité et le principe du s...
Les réseaux sociaux de la recherche :
états des lieux
• L’apparition des réseaux sociaux de la
recherche a montré comment ...
Développement
• Apparition de permettant
l’accès rapide et direct à des travaux de
recherche
• Apparition de nouveaux stan...
• Apparition de et de
à partir de 2011
• Attractivité :
– Services innovants (groupes, cv, accès rapide aux fichiers…)
– B...
De nouveaux outils de comptage
• Du fait de cet usage massif des réseaux
sociaux, des outils comme Altmetrics se sont
déve...
Principes
• Des moteurs de calcul de citations
comptabilisent les views, downloads,
partages sur les réseaux sociaux...
Limites
ATOUTS
• moyen d’estimer la visibilité
et l’infiltration d’une
recherche sur les réseaux
sociaux
• Certains éditeu...
Exemples de valorisation
de travaux de recherche (1)
• Le musée numérique Criminocorpus
Idées
• 28 expositions exclusivement en ligne
• Chacune est alimentée par des documents des fonds
publics très consultés p...
Exemples de valorisation
de travaux de recherche (2)
• La revue Mondes sociaux
Idées
• créée en avril 2013
• un magazine de diffusion des SHS, en libre-accès,
publiant des articles de recherche écrits ...
Pour les commentaires ouverts
• commentaires constructifs, qui ont mené à
des propositions de soumettre un article pour
le...
IV) Les retours d’expérience sur
l’intégration de l’open access dans
les processus d’évaluation
Point de vue de l’INSHS
• La Responsable d’études documentaires à l’InSHS Odile
Contat, en charge de l’aide aux revues sci...
Principes
• Le modèle Latindex a été une source dont s’est inspiré l’InSHS,
pour valoriser au maximum les principes d’ouve...
Degrés de prise en compte de la
publication en libre-accès dans les
procédures d’évaluation
• Disciplines présentées dans ...
Conclusions de la table ronde :
• Le socle d’évaluation scientifique ne bouge pas
concernant l’open access, mais certaines...
CONCLUSION :
• La prise en compte de l’OA n’est pas encore
instituée, et les organismes d’évaluation doivent
encore donner...
Colloque évaluation de la recherche, oct. 2016
Colloque évaluation de la recherche, oct. 2016
Prochain SlideShare
Chargement dans…5
×

Colloque évaluation de la recherche, oct. 2016

104 vues

Publié le

Organisé par le réseau « Archives ouvertes Toulouse » et réunissant éditeurs, enseignants-chercheurs, responsables d’évaluation de la recherche et professionnels de l’IST, ce colloque avait pour objet de faire le point sur les modifications en cours concernant les méthodes d’évaluation de la recherche, au regard des nouvelles pratiques en ligne et du libre-accès aux publications scientifiques, via des archives ouvertes comme HAL ou les revues en open access (OA).

Publié dans : Formation
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
104
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Colloque évaluation de la recherche, oct. 2016

  1. 1. Colloque Open access et évaluation de la recherche Toulouse les 13 et 14 octobre 2016 Colloque organisé par le réseau « Archives ouvertes Toulouse » : Compte-rendu
  2. 2. Intervenants : • J.-C. Guédon, Professeur de littérature comparée à l'Université de Montréal, Québec, signataire de la Déclaration de Budapest, 2002 • Didier Torny, Directeur adjoint scientifique (section 36-40), Institut National des Sciences Humaines et Sociales (InSHS-CNRS) • Iratxe Puable, Managing Editor, Plos One • Alain Monteuil, Responsable du pôle Archive Ouverte, Institut National de Recherche en Informatique et en Automatique (INRIA) Rhône-Alpes) • Michaël Bon, PhD, Biophysicien, Commissariat à l'Energie Atomique (CEA), Fondateur du Self Journal of Science) • J. Bordier, Docteur en sociologie, chercheur indépendant et conseiller éditorial • Bernard Rentier, membre du Working Group Open Access (sous groupe "Quality assessment") de l'European University Association, premier vice-président du conseil fédéral belge de la politique scientifique, recteur émérite de l'Université de Liège, Belgique • Ben Johnson, Higher Education Policy Adviser, Higher Education Funding Council for England (HEFCE) • Jean-Paul Deroin, Président de la CP-CNU (Commission Permanente du Conseil National des Universités) • Marin Darcos, Directeur de la plateforme Open Edition • Guillaume Cabanac, Enseignant-chercheur, Institut de Recherche en Informatique Toulouse (IRIT), Université Toulouse III - Paul Sabatier)
  3. 3. • Chérifa Boukacem-Zeghmouri, Co- responsable de l'Unité Régionale de Formation à l'Information Scientifique et Technique (URFIST) de Lyon et maître de conférences HDR, laboratoire Elico, Université Claude Bernard - Lyon 1) • Marc Rennéville, Directeur de recherche CNRS, Directeur de publication de la revue hypermédia Criminocorpus • Sébastien Poublanc, Docteur en histoire, Rédacteur en chef adjoint du magazine de sciences humaines et sociales Mondes Sociaux • Odile Contat, Responsable d'études documentaires pôle IST, Institut National des Sciences Humaines et Sociales (InSHS) • Pierre Moret, Directeur de Recheche CNRS au laboratoire TRACES UMR 5608, CNRS/ Université Toulouse - Jean Jaurès et président CoCNRS section 32 « Mondes anciens et médiévaux » • Michel Polh, Directeur adjoint, chargé de l’IST, Institut National de la Santé et de la Recherche Médicale (INSERM) • Ginette Arliguié, Professeur des universités et maître de conférences à l'Université Toulouse III - Paul Sabatier, membres de la section 60 « mécanique, génie mécanique, génie civil», CNU Groupe 9.) • Florent Champy, Directeur de recherche au CNRS, Laboratoire Interdisciplinaire Solidarités, Sociétés, Territoires, Centre d’Etude des Rationalités et des Savoirs (LISST-CERS, UMR CNRS/EHESS/UT2J).
  4. 4. Constats : • la reconnaissance de revues prestigieuses aux coûts d’abonnement élevé, à diffusion plus lente et accès payant • Indices de type : FI, h-index, qui encouragent la course à la publication • La reconnaissance de la démarche de publication en libre-accès, à diffusion rapide et à coût faible, via les plates-formes ouvertes ou les revues en libre-accès • Les nouvelles formes de diffusion des travaux de la recherche en ligne 1. Sur quoi se fonde le système d’évaluation de la recherche actuellement ?
  5. 5. 2. Le problème du facteur d’impact ? • Est devenu dans certaines disciplines le seul critère de reconnaissance de la valeur d’un travail de recherche, alors que sa pertinence est discutable • RAPPEL : – Le FI est le nombre moyen de citations de chaque article publié dans une revue. Une revue avec un FI élevé serait ainsi considérée comme plus importante (parce que plus visible : plus lue et plus citée) qu'une revue avec un FI faible (source : Wikipédia). – Il est calculé à partir des bases de données bibliographique Web of Science Core Collection (WoS) de la société américaine Thomson Reuters, de Scopus et de Google Scholar. Facteur d’impact de 41,456, avec près de 400 000 citations de ses articles (2014) Calcul : nombre de citations des articles publiés dans une revue pendant une période donnée (2 ou 5 ans) divisé par le nombre total d’articles publiés pendant cette même période dans cette même revue
  6. 6. Objectifs du colloque • Faire le point sur les modifications en cours concernant : – les méthodes d’évaluation institutionnelle de la recherche (rappel : recommandations de H2020 de faire évoluer les critères d’évaluation des chercheurs). – Les nouvelles pratiques en ligne de consultation, d’évaluation et de diffusion, pour proposer la prise en compte d’autres choses critères que le FI
  7. 7. I) De nouvelles méthodes d’évaluation dans les revues, épi- revues ou blogs de recherche :
  8. 8. • Exemple de la revue Plos One, revue scientifique en libre accès • Volonté d’apporter plus de transparence et plus d’ouverture • Volonté de répondre à des besoins spécifiques des chercheurs : – plus d’efficacité dans l’évaluation – plus de rapidité – Plus d’équité (éviter de céder aux considérations qui touchent à l’impact de la recherche ou à son niveau d’intérêt, mais rechercher la qualité avant tout) Dans les revues
  9. 9. Système d’évaluation double, avant et après acceptation du manuscrit AVANT ACCEPTATION : • Évaluation par l’éditeur et le comité éditorial – à partir de critères définis en interne, pour plus d’équité, pour ne pas exclure des travaux de recherche moins attrayant au premier abord (approbations internes, conflits d’intérêts, disponibilités des données) APRES ACCEPTATION DU MANUSCRIT : • Evaluation par la communauté scientifique elle-même sur le niveau d’intérêt et l’impact de la recherche • Processus plus lent, moins transparent, pas forcément efficace Comité scientifique 1 2
  10. 10. Système d’évaluation après publication du manuscrit • L’évaluation de l’impact de l’article est possible grâce à l’utilisation de compteurs métriques type Altmetrics • Mesure de l’impact et de l’intérêt de l’article au niveau de l’article individuel et non du journal
  11. 11. Dans les épi-revues • La plate-forme Episciences qui héberge les épi-revues a été créée par le CCSD (si on a un compte dans HAL, on a un compte dans Episciences) • RAPPEL : – une épi-revue est revue électronique en libre accès, alimentée par les articles déposés dans les archives ouvertes telles que HAL ou arXiv, et non publiés par ailleurs. – Les comités éditoriaux des épirevues organisent l'activité d'évaluation et de discussion scientifique des prépublications soumises ou sélectionnée
  12. 12. Episciences fournit une plate-forme technique d’examen par les pairs Intérêts des épi-revues (1) :
  13. 13. Intérêts des épi-revues (2) : • Permettent une réappropriation du workflow par les communautés scientifiques, qui peuvent investir d’autres tâches dans la chaîne de publication de leurs travaux et décider de créer une revue par exemple. Ex : JDMDH Journal of Data Mining and Digital Humanities Créée en 2014, la revue JDMDH se situe à l'intersection de la fouille des données et des humanités numériques • Intéressant de créer une revue quand les travaux de recherche sont interdisciplinaires (problème qui se pose aussi pour l’évaluation) • Petit + : Une revue qui sélectionne un article lui appose directement une labellisation (on passe de l’auto-archivage à la publication proprement dite)
  14. 14. Avantages des évaluations des épi-revues : • Les critères de la grille de relecture peuvent être rendus visibles et non anonymes (libre décision de la revue). • Il existe pour le lecteur la possibilité d’évaluer un article après publication, en suivant un formulaire présentant des champs spécifiques à remplir, et le compte-rendu de l’évaluation est public (régulation par l’auto-modération) • Un article qui n’aurait pas été sélectionné pour la revue reste cependant accessible sur HAL
  15. 15. Dans les blogs de recherche • Création du SJS Self Journal of science par Michaël Bon
  16. 16. Intérêts du self-journal : • réappropriation du workflow par le chercheur • conçu comme un espace personnalisé pour les scientifiques, il permet de déposer des articles, d’en débattre, de les classer et de les évaluer collectivement
  17. 17. Idée centrale du SJS • faire table rase des fonctions de rédacteur en chef et de comité de rédaction voire de la notion même de revue en tant que point de passage obligé pour la validation des publications • de conduire les scientifiques à réfléchir à ce qui fait la valeur d’un travail scientifique
  18. 18. Expérimentations du projet OpenAire • Dans la revue VertigO (revue québécoise en sciences de l’environnement) • Initiative d’Horizon 2020 et du Consortium Couperin, confié au collectif OpenEdition pour mettre en place un dispositif d’évaluation ouvert sur une des revues hébergées par OpenEdition • pour analyser un processus de co-construction des connaissances grâce à internet
  19. 19. Principes : • A partir d’articles non publiés dans des revues ou susceptibles de corrections, le sociologue Julien Bordier a imaginé des dispositifs d’évaluation ouverte de deux types : – rapports d’évaluation publiés et non anonymés – open-commentary sur des pre-prints à retravailler
  20. 20. Bilans • Vrai défi d’aller chercher les évaluateurs, même si sur internet • A permis d’établir un dialogue entre l’évaluateur et l’auteur • Trois des cinq textes examinés sont aujourd’hui en cours de publication
  21. 21. Limites • des limites techniques se sont présentées pour les annotations dans le texte (il fallait installer un plug-in, et il aurait fallu qu’il soit implanté directement sur le site). – Utilisation du plug-in Hypothesis
  22. 22. Intérêts • Les outils numériques permettent de reconstituer sous d’autres formes le processus du débat scientifique. • Comme le rapport d’évaluation était public (1er dispositif), il a dû être plus justifié, plus détaillé
  23. 23. II) L’évaluation de la recherche : les méthodes instituées et les nouveautés possibles
  24. 24. La question de la récompense des chercheurs dans les Universités européennes • les méthodes traditionnelles demeurent avec : – l’utilisation du h-index (Indice essayant de quantifier la productivité scientifique et l’impact d'un scientifique en fonction du niveau de citation de ses publications. source : Wikipédia). – la comptabilisation du nombre d’articles dans des journaux à fort impact (FI) – l’attribution de primes de performance basées sur les « scores d’impact » ou « mesures d’impact » (que le chercheur peut ensuite mettre dans son CV)
  25. 25. Le cas du Royaume-Uni • le rapport Finch de 2012 a eu un fort impact sur les critères d’évaluation – RAPPEL : le rapport Finch recommande que le Royaume-Uni adopte le libre accès et présente des recommandations pour organiser la transition et accélérer le processus, mais de manière mesurée (promotion, par une politique claire de financement, de la publication en libre accès ou hybride comme support principal de diffusion de la recherche, notamment celle financée par des fonds publics).
  26. 26. Avancées concrètes • une notion d’open access sera intégrée pour la campagne REF (Opérateur de la campagne d’évaluation de la recherche : Research excellence framework) de 2021 • Principes : – les universités auront obligation de proposer des publications conformes aux critères OA définis par le HEFCE (organisme qui dépend du gouvernement et s’occupe du financement des activités d’enseignement et de recherche dans les établissements d’enseignement supérieur) – Si les publications ne remplissent pas ces critères, le dossier ne sera pas éligible
  27. 27. Conditions • Pour que le dossier d’évaluation soit éligible pour la campagne de REF 2021, il faut que les publications des chercheurs soient toutes disponibles par : – La voie verte : dans un entrepôt libre d’accès – La voie dorée : dans des revues à CL en OA • Cette obligation d’OA ne concernera que les articles de revue et les conférences (exclusion des ouvrages).
  28. 28. Concernant les APCs (Article processing charges) • des négociations avec les éditeurs pour une réduction des APCs ont été lancées Frais de publication (Article processing charges) pour : – Soit réduire les coûts des abonnements payés par les Universités en fonction du montant des APCs – Soit réduire les coûts des APCs pour les universités abonnées – Soit imaginer un forfait incluant abonnement et publication en libre accès
  29. 29. La situation en France • CP-CNU : • Pas de prise en compte de l’OA pour les promotions des chercheurs pour l’instant • HCERES : • Intégration des publications en OA à partir de la vague A (2020-2021) • Modifications de la méthodologie des évaluations à partir de la vague D
  30. 30. Nouveautés dans les évaluations de l’HCERES • dans la méthodologie du dossier d’évaluation, avec une reconfiguration du dossier plus axé sur la stratégie de l’unité, sur sa politique, ses aspects organisationnels et les aspects qualitatifs (avec la mise en place d’un système d’auto-évaluation) • dans le mode de saisie du dossier d’évaluation, qui se fera en ligne, à flux continu, avec la possibilité d’utiliser les archives ouvertes pour avoir accès aux activités de recherche (l’HCERES est en discussion avec HAL pour aspirer les données des autres bases)
  31. 31. méthodologie du dossier d’évaluation (1) • le nombre de critères va être limité, et les évaluations recentrées sur les produits et activités de recherche • Un travail est en cours pour constituer un référentiel des produits et activités de recherche par discipline ou activité de recherche par les communautés scientifiques elles-mêmes (ex : définir un périmètre des produits de la recherche et de les hiérarchiser). Les référentiels en cours d’élaboration serviront pour les publications concernées par la vague D (au 15 décembre).
  32. 32. méthodologie du dossier d’évaluation (2) • Une importance est accordée dans les dossiers d’évaluation à l’accès à l’information scientifique, ce que les experts peuvent juger eux-mêmes lorsqu’ils essayent de consulter les publications • Il n’y aura plus à fournir les listes exhaustives des productions et des activités des chercheurs, mais 20% de ce que l’unité a fait de mieux, en explicitant pourquoi il s’agit du mieux de l’unité (volet auto-évaluation).
  33. 33. mode de saisie du dossier • Volonté que la plate-forme de dépôt de l’HCERES aspire ce qui est sur HAL (pour éviter des doubles saisies), mais cela suppose des évolutions de HAL. • créer un entrepôt national des références et des publications, pour soulager les communautés des renseignements des dossiers d’évaluation
  34. 34. Problèmes à résoudre (1) • pour la transparence, il faudra trancher concernant la publicité des résultats de l’évaluation • L’HCERES souhaiterait ouvrir un portail (il est en négociations avec HAL) qui donnerait accès aux archives d’évaluation depuis l’origine et accès aux documents ayant servi à construire l’évaluation
  35. 35. Problèmes à résoudre (2) • Les obstacles concrets à la mise en place de ce portail sont – la loi de juillet 2013 sur l’ESR qui limite à un résumé la publication des rapports des unités (donc pas d’obligation de publication). Evolutions qui ne peuvent pas être envisageables avant la vague A. – changement des vagues, pour coller à l’évolution de la carte des régions – création de postes pour mettre en place des partenariats avec les sites pour qu’ils créent leur propre plate-forme de dépôt et qu’ils l’alimentent. De même, il est très important de créer des postes pour aider les chercheurs à saisir leurs données
  36. 36. III) Les nouvelles pratiques de consultation et de diffusion en ligne
  37. 37. Le FI et les SHS : un problème concret Revues très réputées en SHS Elles ne sont pas répertoriées
  38. 38. Problème de l’expertise • Pools d’experts pour recenser les revues en sciences humaines, qui sont essentiellement composés d’anglophones et comme ces experts évaluent la qualité de la langue (anglais), cela influe sur le reviewing. • Pour la sélection du pool d’experts des humanités numériques, Marin Darcos, le Directeur de OpenEdition, a inventé un indice, le Digital Humanity decision power (DHDP), qui correspond au ‘pourcentage de chance de devenir un expert pour faire partie d’un comité d’experts pour évaluer les Humanités numériques’
  39. 39. DHDP = nombre d’experts / nombre de membres de la communauté soit E/M, où est le nombre d’experts et E le nombre de personnes ayant répondu à l’enquête « Who are you Digital Humanists ? »
  40. 40. Et pourtant… 64 millions de visites en 2015 ! • Notion très importante dans les SHS : • la sérendipité et le principe du sleeping beauty (Van Raan) ou du lecteur inattendu, qui explique la hausse de visualisation d’un article en fonction de la conjoncture sociale.
  41. 41. Les réseaux sociaux de la recherche : états des lieux • L’apparition des réseaux sociaux de la recherche a montré comment le gap entre les bibliothèques et les chercheurs a été comblé par les éditeurs et par les entrepreneurs qui ont perçu l’aspect potentiellement lucratif de l’intermédiation • Captation de valeur par les éditeurs
  42. 42. Développement • Apparition de permettant l’accès rapide et direct à des travaux de recherche • Apparition de nouveaux standards pour l’édition en ligne : – DOI (Digital object identifier (DOI, littéralement « identifiant numérique d'objet) – standard éditorial Crossmark – comptage de consultation de type Altmetrics
  43. 43. • Apparition de et de à partir de 2011 • Attractivité : – Services innovants (groupes, cv, accès rapide aux fichiers…) – Bon référencement par Google des travaux déposés • Le chercheur se retrouve alors acteur de sa propre image, dans la même logique que la course à la publication et la pression à la performance • Déluge de mails (pour utiliser ces nouveaux outils, pour trouver les experts), car cela permet ensuite de monnayer cette connaissance
  44. 44. De nouveaux outils de comptage • Du fait de cet usage massif des réseaux sociaux, des outils comme Altmetrics se sont développés, pour élargir et affiner l’évaluation en proposant une métrique liée aux réseaux sociaux (web 2.0) outil de calcul de l’impact d’une recherche à court terme (plug-in qui s’implante directement sur le navigateur), et prenant en compte le domaine OA
  45. 45. Principes • Des moteurs de calcul de citations comptabilisent les views, downloads, partages sur les réseaux sociaux...
  46. 46. Limites ATOUTS • moyen d’estimer la visibilité et l’infiltration d’une recherche sur les réseaux sociaux • Certains éditeurs implémentent directement cet outil sur leur site, ce qui permet de rendre compte de l’impact d’un article et non pas d’une revue INCONVENIENTS • sensible à la pollution et au gaming (partage par des amis pour valoriser une recherche). • ne faut pas confondre la visibilité d’un article avec sa portée scientifique.
  47. 47. Exemples de valorisation de travaux de recherche (1) • Le musée numérique Criminocorpus
  48. 48. Idées • 28 expositions exclusivement en ligne • Chacune est alimentée par des documents des fonds publics très consultés pour la recherche mais aussi des documents issus de collections privées qu’il n’aurait pas été possible de rendre consultable par tous sans le numérique • Un système de ‘’dossiers liquides’’ a été adopté, qui renvoie à l’idée évoquée plus tôt par Bernard Rentier d’’’articles liquides’’ : un travail de recherche doit être toujours en cours de développement, d’où l’idée qu’il n’est plus un ‘’solide’’ mais un ‘’liquide’’
  49. 49. Exemples de valorisation de travaux de recherche (2) • La revue Mondes sociaux
  50. 50. Idées • créée en avril 2013 • un magazine de diffusion des SHS, en libre-accès, publiant des articles de recherche écrits par des chercheurs (articles basés sur des thèses, des articles de recherche, des ouvrages), sans comité scientifique • de proposer une diffusion massive sur les réseaux sociaux (‘’vulgarisation de la recherche ‘’pour l’HCERES) • prescripteurs de contenus adaptés aux nouvelles pratiques du numérique : écrire pour le collégien de 3e • principe du ‘’dossier liquide’’
  51. 51. Pour les commentaires ouverts • commentaires constructifs, qui ont mené à des propositions de soumettre un article pour le commentateur qui émettaient des remarques sur le contenu diffusé • Plate-forme de débats, sur des sujets variés, qui encourage la démocratie numérique
  52. 52. IV) Les retours d’expérience sur l’intégration de l’open access dans les processus d’évaluation
  53. 53. Point de vue de l’INSHS • La Responsable d’études documentaires à l’InSHS Odile Contat, en charge de l’aide aux revues scientifiques, a confié son expérience sur la prise en compte du libre accès dans la dotation aux revues • L’attribution de ces subventions repose sur une politique d’évaluation délimitée par des critères discriminants, qui viennent des sciences de l’information (ex : bonnes pratiques éditoriales, dontle libre accès) • Il s’agit de valoriser l’édition scientifique ouverte, transparente et collective.
  54. 54. Principes • Le modèle Latindex a été une source dont s’est inspiré l’InSHS, pour valoriser au maximum les principes d’ouverture et de transparence : – existence d’une version numérique de la revue – présentation des membres du comité de lecture sur le site et des affiliations – respect de procédures d’évaluation pour les articles : experts extérieurs – suivi d’une grille d’évaluation – visibilité de la date de réception et d’acceptation de l’article. • RAPPEL : LATINDEX est un système d’information académique, gratuit, à but non lucratif, spécialisé sur les revues académiques éditées en Amérique ibérique et lusophone. Le système est basé sur le fruit de la coopération entre différentes institutions de 23 pays (source : Wikipédia).
  55. 55. Degrés de prise en compte de la publication en libre-accès dans les procédures d’évaluation • Disciplines présentées dans la table ronde : – Archéologie, Histoire, Philologie – Bio-médical – Sciences Appliquées – Sociologie
  56. 56. Conclusions de la table ronde : • Le socle d’évaluation scientifique ne bouge pas concernant l’open access, mais certaines pratiques qui impliquent de la vulgarisation scientifique ou ‘’animation de la recherche’’ sont prises en compte (ex : blogs de recherche) • La prise en compte du facteur d’impact n’est pas aussi forte dans toutes les disciplines, elle l’est plus particulièrement dans le bio-médical où le recours y est systématique • Dans les sciences appliquées, une initiative a été prise dans l’évaluation : que les rapporteurs ne mentionnent pas le facteur d’impact
  57. 57. CONCLUSION : • La prise en compte de l’OA n’est pas encore instituée, et les organismes d’évaluation doivent encore donner l’impulsion pour concevoir des récompenses pour les chercheurs qui publient en accès ouvert • Comme il faut payer pour publier en OA dans la voie gold, le problème de la récompense du chercheur qui publie quand même en OA est réel • A l’horizon 2021, la prise en compte de l’OA dans les évaluations de la recherche devrait pouvoir être effective

×