Le document aborde les enjeux et stratégies des enseignants-chercheurs face à l'évaluation de la recherche par l'AERES. Il critique le système existant pour sa rigidité et son incapacité à représenter adéquatement les sciences humaines et sociales. Plusieurs erreurs de positionnement, de fond et de forme sont discutées, culminant en une remise en question des méthodes d'évaluation et de la gouvernance des revues scientifiques.

1. Assises de la SFSIC Monde en mutation : quels enjeux et stratégies pour les SIC ? 3 -5 Décembre 2009, Cité des sciences et de l’industrie, Paris Statut et carrières des enseignants chercheurs Animateur : Christian Le Moënne, Professeur, Université Rennes 2 Jean Davallon, Professeur, Université d’Avignon, Président du CNU 71 ème section Arnaud Mercier, Professeur, Université de Metz, Expert auprès de l’AERES Olivier Ertzscheid, Maître de conférences, Université de Nantes

2. Assises de la SFSIC Monde en mutation : quels enjeux et stratégies pour les SIC ? 3 -5 Décembre 2009, Cité des sciences et de l’industrie, Paris Statut et carrières Évaluation des enseignants chercheurs Animateur : Christian Le Moënne, Professeur, Université Rennes 2 Jean Davallon, Professeur, Université d’Avignon, Président du CNU 71 ème section Arnaud Mercier, Professeur, Université de Metz, Expert auprès de l’AERES Olivier Ertzscheid, Maître de conférences, Université de Nantes

3. Prologue ...

4. D’où je parle et pourquoi suis-je là ? Je ne suis pas membre du CNU / rapporteur de l’AERES / syndiqué Je suis Démissionnaire de mon seul mandat (anciennement) électif McF. Dans un « petit IUT de province » J’ai un blog (carnet de recherche) assez visible ( www.affordance.info ) Des prises de position individuelles : http://affordance.typepad.com/mon_weblog/2008/10/la-71me-section.html Qui rencontrent un certain écho D’où invitation. d’A. Kiyindou.

5. Un dispositif médiatique connu. « L’institution » (CNU) « L’expert » (délégué AERES) « Le contestataire »

6. : Acte 1 : L’AERES ou le jeu des 6 erreurs

7. L’AERES et le jeu des 6 erreurs ERREUR N°1 : Un problème de positionnement 22 Janvier 2009 : Discours du président de la république recherche et chercheurs « non-évalués », excellence est « l’arbre qui cache la forêt » 1 Mars 2009 : Fronde à l’AERES « Nous, délégués scientifiques ... » http://universitesenlutte.wordpress.com/2009/03/01/fronde-a-laeres/ 4200 scientifiques (hors AERES) se sont engagés à n’effectuer aucune expertise pour l’AERES http://www.sauvonslarecherche.fr/spip.php?article2147&var_recherche=boycott%20de%20l%27ANR « Manager la qualité de la recherche » ???!!! Affichage d’un discours managérial insipide, creux, caricatural « C’est une culture du management de la qualité qu’il convient d’instaurer. (...) d’une logique de moyens, chaque université doit passer à une logique de résultats. Chacune doit (...) manager la qualité de sa recherche et de son offre de formation et les situer au plan international. » Edito de JFD http://www.aeres-evaluation.fr/Edito Résultat : les 3D : Décrochage. Divorce. Dénonciation. « La structure mise en place, l’AERES , est composée uniquement de personnes nommées, n’évaluant que les structures. L’objectif qui lui est assigné n’est pas d’en évaluer les forces et les faiblesses, d’identifier d’éventuels dysfonctionnements, et de proposer de possibles améliorations ou réorientations, mais de les classer afin de pouvoir par la suite punir ou récompenser. L’AERES ne sert pas la recherche et l’enseignement supérieur, elle sert une politique de tri sélectif qui tient lieu de politique scientifique. » Alain Trautmann (et al.) http://www.sauvonslarecherche.fr/spip.php?article2591

8. L’AERES et le jeu des 6 erreurs ERREUR n°2 : Un problème de fond Évaluation « quantitative » de la science. D’une certaine science. Problème des humanités. Bibliométrie comme alpha et oméga Revues de rang A ... mais « quota » « pas plus de 25% des revues évaluées par l’Aeres dans chaque champ disciplinaire ne doit être classé en A. » L’AERES n’a pas pour mission d’évaluer les individus mais les structures mais aboutit à figer les individus qui les peuplent en une dichotomie sclérosante et malsaine entre « publiants » et « non-publiants »

9. L’AERES et le jeu des 6 erreurs ERREUR n°3 : Un problème de forme Communication calamiteuse ... Exemples : Liste des revues classées publiée sur le site de l’AERES le ... 28 Juillet 2008 ... 6 ème loyer le plus cher de l’état locataire : http://www.senat.fr/rap/r08-510/r08-5102.html ) Déclarations sexistes de JF Dhainaut http://www.sauvonsluniversite.com/spip.php?article1281 Erreurs patentes (classement des facultés de médecine) Recul démocratique : tous les membres de l’AERES sont nommés. « Pourquoi les commissions d’experts ne sont-elles composées que de nommés et ne comportent aucun élu ? » JFD « de toute façon, cela ne faisait pas de différence que les experts soient nommés ou élus ». « l’absence de règles pour la nomination des comités AERES. (nombreux témoignages dans http://www.afs-socio.fr/ i n Etats Généraux de la sociologie, Congrès AFS, le 15.04.2009 Non-sense à l’anglo-saxonne : Quel sens à une agence gouvernementale à l’heure du crédo de l’autonomie ?? Résultat : Non-concertation / improvisation / différences abyssales de traitement entre les différents champs qui dé-légitime et décrédibilise toute logique d’harmonisation (pourtant si nécessaire)

10. L’AERES et le jeu des 6 erreurs ERREUR n°4 : Un problème de projection Mercredi 2/12/2009 : Berlin 7 à la Sorbonne. http://houpier.blog.uhp-nancy.fr/2009/12/02/berlin7-cest-maintenant/ Open Access ?? Des archives institutionnelles ? Des archives ouvertes ? Nouvelles métriques du web ?? (webmetrics, download count, etc ...) http://www.int-res.com/abstracts/esep/v8/n1/ Contestation des « anciens » indicateurs bibliométriques et de ceux qui les portent (Thompson ISI) ERREUR n°5 : Un problème de vision politique 1 exemple : UK Research Assessment Exercise 2008: actuellement très contesté car reposant principalement sur facteur d’impact) Des alternatives : http://www.eerqi.eu/ projet européen comme EERQI (European Educational Research Quality Indicators). EERQI vise à définir et mettre en ouvre de nouveaux indicateurs et de nouvelles méthodologies d'évaluation de la qualité des publications de recherche dans le domaine de l'éducation, en vue d'offrir une alternative européenne aux mesures d'impact de citations actuelles (Social citation index, par exemple), mal adaptées à la réalité de la recherche en SHS. devrait déboucher sur la mise en place d'un prototype permettant l'évaluation des productions de recherche au sens large (revues, monographies, littérature grise, archives ouvertes , documents électroniques...)

11. L’AERES et le jeu des 6 erreurs ERREUR n°6 : Un problème d’objectifs : Evaluations des masters de l’enseignement catholique : catastrophiques. Depuis déjà 2 ans. Qu’est-ce que cela a changé ??? Rien. Moralité : Sur la forme : Vision sclérosante de la recherche Sur le fond : Vision au mieux rétrograde et au pire dangereuse de la bibliométrie Sur l’avenir : Vision qui ignore les logiques aujourd’hui les plus prometteuses : open data, open science, open access Vision qui met en péril les sciences d’abord humaines puis sociales

12. : Acte 2 : Des revues et des hommes (et des listes de revues proposées par des hommes)

13. Les revues 71 ème : chercheur schizophrène ou schizophrénie de la recherche ? AUJOURD’HUI : « Dans l’étude des dossiers, le CNU 71e section refuse de s’en tenir à une évaluation fondée exclusivement sur la « mesure de l’impact » des articles et n’attribue pas de points aux divers titres de revues : il prend en compte la qualité de l’ensemble des contenus des dossiers et des publications. » http://www.cpcnu.fr/detailVieSectionCpcnu.htm?numeroSection=71&name=articleVie20081130144834193&from=vieSection.htm?numeroSection=71&option=menuSection&numeroSection=71 OUI MAIS Nombre de ces revues ont déjà des points attribués dans la liste de l’AERES (liste d’où est toujours absente la 71 ème section): http://www.aeres-evaluation.fr/La-liste-des-revues-scientifiques OUI MAIS Pendant de très longues années ... La seule liste des revues proposée par le CNU infocom était ... assez limitée ...

14. http://web.archive.org/web/20061123033820/http://cnu71.free.fr/33-revues.html 15 revues scientifiques ... Seulement ? Toutes francophones ... Malheureusement ? (copie d’écran du 23 Nov. 2006)

15. Pourtant des travaux existent ... Jeannin 2001 : « SSCI (Social Sciences Citation Index), on comptabilise 56 périodiques dans la rubrique : « Information Science & Library Science ». Tandis que dans le CCSBS (Current Contents Social & Behavioral Sciences), on comptabilise 53 périodiques dans la rubrique : « Library & Information Sciences ». ET / OU les périodiques dépouillés par la base FRANCIS (INIST, Nancy) en sciences de l’information. Au nombre de 150 environ ET / OU Robert BOURE et Isabelle PAILLART, ed. « Les théories de la communication », revue CinémAction, n°63, mars 1992. (liste de périodiques pp.251-254) ET / OU Yves-François LE COADIC, « La science de l'information », PUF, col. Que-sais-je ? (liste de périodiques pp. 120-121) ET / OU Liliane SOCHACKI et Joëlle DEVILLARD, « Des chercheurs en « info-com » et leurs revues », Actes du Séminaire annuel du LERASS, La communication et l’information entre chercheurs, vol.3, s.d., pp.25-43. (liste de périodiques pp. 40-43) ET / OU Travaux du laboratoire I3M (Nicolas Pelissier et al.) : « Liste commentée des revues en SIC » 1 er Juin 2006 http://i3m.univ-tln.fr/Revues-en-SIC-Liste.html Travaux de P. Jeannin (2001 ...) « Je pense que l’évaluation quantitative de la recherche dans ces domaines de la connaissance est possible, à condition que la méthode suivie remplisse, de façon stricte, certains critères de qualité (il faut en particulier qu’elle soit consensuelle, publique, révisable...). Et à condition, bien sûr, que cette évaluation ne soit pas hégémonique. Bien loin de constituer un handicap, l’absence de listes fiables de périodiques scientifiques constitue donc une chance pour nos disciplines. »

16. http://www.cpcnu.fr/detailVieSectionCpcnu.htm?numeroSection=71&name=articleVie20081130144834193&from=vieSection.htm?numeroSection=71&option=menuSection&numeroSection=71 « non-classées » en SIC mais classées dans d’autres champs ... Janvier 2007 : 15 revues francophones Novembre 2009 : 63 revues internationales

17. : Acte 3 : « Evaluer les revues » ou « l’anarchie bibliométrique » « Evaluer les revues ». Oui mais ... Avec qui ? Comment ? Sur quelles bases ? Avec quels objectifs ?

18. Discipline Liste? Etablie par qui ? Selon quels critères ? Droit Non mais Des « experts » ... "gouvernance" éditoriale de la revue =5 points; Diffusion et visibilité de la revue = 3 points; qualité scientifique de la publication (critère 3) = 12 pts ;originalité scientifique (il faut satisfaire deux des trois sous-critères suivant) ... Une classification en trois groupes : A (supérieur à 15 points), B (entre 7 et 14 points), C (inférieur à 7 points) Psycho Oui "La commission conjointe AERES/CNRS/CNU (...), en présence du représentant de l’AERES, a établi une première classification des revues de psychologie (...) proposée aux comités d’évaluation de l’AERES, aux responsables des unités de recherche (UMR et EA) et à la communauté des enseignants-chercheurs et chercheurs en psychologie. » Economie Oui après concertation avec plusieurs instances celle proposée par le comité national de la recherche scientifique (section 37). ScPo Oui mais 2 représentants de l’Aeres ; 2 représentants du CNU section 04 ; 2 représentants de la section 40 du Comité national du CNRS ; 2 représentant de l’AFSP ; 2 présidents de comités de visite Aeres ? Socio Oui avec le concours d’une vingtaine d’experts Puis réunion avec «les représentants de la direction SHS du CNRS qui avaient de leur côté procédé à un travail similaire et les représentants de l’AERES. » en prenant pour point de départ le travail initial réalisé par le CNRS en 2004. Sc Edu Oui mais "Déclaration commune Présidents des Comités de visite AERES et de la Présidence et Vice-Présidence du CNU (Sciences de l’Education 70e section) » s'est faite dans la douleur et sans l'assentiment des parties prenantes (sauf l'AERES) ? Philo Oui mais "Il s’agissait, de façon toute provisoire, d’établir un outil destiné aux comités d’évaluation de l’AERES (...)",, "Cette liste est donc publiée à titre d’essai, et munie d’un certain nombre de précautions d’usage" " Il s’agissait également de reprendre les listes ERIH, déjà utilisées par certains évaluateurs, et fréquemment contestées ( ...)" Arts lettres langues et sociétés cultures étrtangères Non Commission composée des Présidents des Sections 11 à 15 du CNU, de Présidents de comités de visite, du représentant du CNRS et d’autres personnalités, a confirmé sa décision de 2008 de ne publier aucun classement de revues sur le site de l'AERES . (...) L’absence de liste officielle de l’AERES ne signifie aucunement que ces travaux ne sont pas reconnus par l’Agence. ? *Anthropo, *Géographie *Linguistique, *Histoire Oui ? Staps, Langues et cul régio Non ? ?

19. Une critériologie rondement subjectivée et une liste de revue à l’existence « improbable » ... « La confrontation des trois classements que l'on vient d'examiner rend par conséquent improbable l'existence d'une liste de revues hiérarchisée qui fasse consensus parmi les chercheurs en éducation. Même la distinction entre revues à comité de lecture et autres revues semble poser problème puisque, selon les classements, on voit bien qu' une revue comme celle du CIEP (Revue internationale d'éducation) est considérée comme une revue de bonne qualité (rang B) dans la liste ERIH mais traitée comme une revue de vulgarisation par l'AERES et le CNU ! » http://www.inrp.fr/vst/LettreVST/46-juin-2009.htm

20. « Anarchie bibliométrique » « Du mauvais usage de faux-indicateurs » http://www.cirst.uqam.ca/Portals/0/docs/note_rech/2008_05.pdf

21. Périmètre des revues et « polymétries » de leur évaluation Problème de « l’espace de publication » : Revues de rang A : assiégées par hordes de jeunes publiants ET / OU incubateurs de mandarinat Tout n’est pas de la faute de l’AERES ;-) revues devraient être : + transparentes (liste des experts, appel à comm.), + explicites (modes de fonctionnement), + rapides (dans processus d’expertise) + démocratiques (non-cumul des mandats) Ces critères, classements, labellisations sont particulièrement problématiques : Quand frontières disciplinaires sont en pleine reconfiguration Pour les champs disciplinaires inscrits dans des périmètres de savoir à expansion constante (dont les SIC) Pour les champs disciplinaires dans lesquels les « articles » ne représentent qu’un faible % des publications du champ (20 à 35% dans les humanités) Problème de périmètre : Les bonnes réponses et solutions (sur le classement des revues) sont très probablement à chercher dans l’espace européen de la recherche Ne pas choisir entre : La peste : « Publish or Perish » Et le choléra : « Publish HERE or Perish EVERYWHERE ELSE. »

22. La SFSIC, les sciences, la société Quel est le rôle d’une société savante en SIC ? Quel positionnement ? Et quelle lisibilité/visibilité pour ce positionnement ?

23. Science et société. L’exemple des journées doctorales. 27 et 28 Mars 2009 : Journées doctorales de la SFSIC. " Alain Kiyindou, président de la SFSIC puis Isabelle Pailliart, directrice du GRESEC ont ensuite souhaité la bienvenue aux participants. Le contexte actuel de réforme de l’université a été rappelé et l’organisation de ces journées durant cette difficile période de conflit saluée. » Mars 2009 http://www.sfsic.org/doctorales2009/?p=82 => SEULE TRACE DE LA PAROLE « PUBLIQUE » DE LA SFSIC ... Journées doctorales. En plein cœur du conflit universitaire. En pleine controverse sur le contrat doctoral. « Sciences et société. » Quelle place tient la SFSIC ? Peut-on éviter l’observation participante ? 27 Mars : colloque de la CPU, 5 présidents d’université appellent à la poursuite du mouvement ( http://sciences.blogs.liberation.fr/home/2009/03/quatre-prsident.html ) 28 Mars : dans une 30aine d’universités, les démissions administratives se succèdent http://www.sauvonsluniversite.com/spip.php?article2055 ) 31 Mars: 2 ème coordination nationale des docteurs et doctorants (contre le contrat doctoral)

24. SCIENCE ET SOCIÉTÉ. « Prendre position maintenant, sinon ... » Times Online, 13 Nov. 2009 : « Impact on humanities : Researchers must take a stand now or be judged and rewarded as salesmen. » http://entertainment.timesonline.co.uk/tol/arts_and_entertainment/the_tls/article6915986.ece

25. André Gunthert : "La science des quotas » : "La liste des revues les classe en trois rangs: A, B et C. Mais au lieu que le rang A donne un compte réel des meilleures publications internationales, on lui a fixé arbitrairement un quota de 25%.** On comprend bien que la logique à l'oeuvre est strictement comptable. Le gouvernement-des-caisses-vides étant dans l'incapacité notoire de revaloriser le salaire des chercheurs (dont toutes les études s'accordent à dire qu'il est scandaleusement bas), il va répartir des lots de consolation aux plus méritants pour pouvoir afficher une politique de la recherche agressive. » En ligne : http://www.arhv.lhivic.org/index.php/2008/11/07/858-la-science-des-quotas **The state we’re in : le classement des revues par l’AERES » : « pas plus de 25% des revues évaluées par l’Aeres dans chaque champ disciplinaire ne doit être classé en A. » http://bouillaud.wordpress.com/2008/09/11/the-state-were-in-le-classement-des-revues-par-laeres/ Grégoire Chamaillou, « Petits conseils aux enseignants-chercheurs qui voudront réussir leur évaluation » http://contretemps.eu/interventions/petits-conseils-enseignants-chercheurs-qui-voudront-reussir-leur-evaluation Akira Akimoto, www.rihe.hiroshima-u.ac.jp/tmp_djvu.php?id=56635 « les réformes de l’enseignement supérieur visent dans presque tous les pays à accroître la productivité académique […] un principe de marché est introduit en ce sens que la survie d’une institution dépend de l’assurance qualité de sa productivité académique. En conséquence, la méthode suivie pour l’allocation budgétaire passe d’un système équitable à un système différentiel, d’une orientation égalitaire à une orientation concurrentielle » http://indiscipline.fr/ Un blog animé par Joëlle Le Marec et Igor Babou.

26. DOSSIERS & NUMÉROS COMPLETS Revue Cités, « L’idéologie de l’évaluation : la grande imposture », n°37, 2009/1 http://www.cairn.info/revue-cites-2009-1.htm Dossier AERES de l’ANCMSP http://ancmsp.com/Dossiers-AERES INRP, Productivité et qualité scientifique :avec quelles publications compter ? http://www.inrp.fr/vst/LettreVST/46-juin-2009.htm ARTICLES Bridges David (2008). Assessing the quality of educational research in higher education in the UK. European Educational Research Quality Indicators. Brody Tim, Harnad Stevan & Carr Less (2006). « Earlier Web Usage Statistics as Predictors of Later Citation Impact ». Journal of the American Society for Information Science and Technology, vol. 57, n° 8. Gingras Yves (2008). La fièvre de l'évaluation de la recherche. Du mauvais usage de faux indicateurs. Montréal : Centre interuniversitaire de recherche sur la science et la technologie. Harnad Stevan (2008). « Validating Research Performance Metrics Against Peer Rankings ». Ethics in Science and Environmental Politics, vol. 8, n° 11, p. 103-107. Bollen J, Van de Sompel H, Hagberg A, Chute R, 2009 A Principal Component Analysis of 39 Scientific Impact Measures. PLoS ONE 4(6): arXiv:0902.2183v2 Mérindol Jean-Yves (2008). « Comment l'évaluation est arrivée dans les universités françaises ». Revue d'histoire moderne et contemporaine, vol. 5, n° 55-4bis, p. 7-27. Segalla Michael (2008). « Publishing in the right place or publishing the right thing: journal targeting and citations'strategies for promotion and tenure committees ». European Journal of International Management, vol. 2, n° 2.

27. Merci 