Gli argomenti usati per giustificare l’adozione di sistemi di valutazione massiva della ricerca del tipo VQR non sono basati su evidenze incontrovertibili. In particolare non esistono analisi che mostrino che i benefici sono superiori ai costi della valutazione. La valutazione massiva della ricerca è autoritaria e contraria alle prassi adottate nelle comunità scientifiche.

1. La valutazione massiva della ricerca:
costi e benefici
Alberto Baccini
Dipartimento di economia politica e statistica, Università di Siena; Redazione Roars
Università e valutazione
Milano, 9 giugno 2017

2. Di quale valutazione stiamo parlando
 La valutazione della ricerca di cui si parla non è quella
compiuta dagli studiosi, da pari a pari, bensì quella
imposta dallo stato, dai ministeri e dalle agenzie di
nomina politica (Pievatolo 2017)
 La valutazione di cui si parla è autoritaria (dispotica)
perché basata sull’autorità conferita dal governo al
valutatore
 Non contano gli argomenti (come nella discussione
scientifica), ma le decisioni dell’autorità che ha il potere
di valutare

3. Le parole sono le cose
 Gli addetti alla ricerca
 Producono i prodotti della ricerca
 che sono sottomessi o conferiti all’Agenzia/commissione/governo
per la valutazione
 «Conferimento obbligatorio» all’ammasso dei prodotti agricoli (specialmente grano)
per poter controllare e calmierare il costo delle materie prime per l’alimentazione in
caso di crisi

4. G. Manfredi (Presidente CRUI): «Solo
attraverso una rigorosa politica del merito e
della qualità potremo contemporaneamente
stimolare le eccellenze ed elevare il livello
medio del nostro sistema ... D’altra parte,
l’università italiana è l’unico comparto della
PA ad essersi già sottoposto alla valutazione
dell’ANVUR, un’agenzia terza»
discorso
di insediamento
23.09.2015

5. Gli argomenti per giustificare la valutazione sono
stati digeriti dalla comunità accademica
 Argomento 1. Così fan tutti
 Argomento 2. I benefici della valutazione superano
sicuramente i suoi costi
 Argomento 3. I professori devono rendere conto al
contribuente del loro lavoro
 Argomento 4. La valutazione serve ad individuare le
«code basse» (i.e. i fannulloni)
 Argomento 5. La valutazione spinge comunque a
comportamenti desiderabili

6. Precedenti storici recenti

7. Precedenti storici recenti
 La politica universitaria di Margareth Thatcher
 UK: RAE 1986
 «it was Leninism» (S. Jenkins, Thatcher and Sons)

9. Così fan davvero pochi

10. La valutazione massiva ex post della ricerca è
adottata da molti paesi?
 No. Solo da UK e Italia
«The UK and Italy are the only countries that have implemented a Peer
Review Based Research Assessment system that (potentially) evaluate all
academic staff in order to allocate research funding» (Aldo Geuna and
Matteo Piolatto, 2016)
L’Italia è l’unico paese a concentrare in una unica agenzia ANVUR tutte le
funzioni di valutazione (didattica, ricerca, amministrazione, trasparenza).
ANVUR ha il consiglio direttivo più costoso del mondo (Baccini 2013,
2015)

11. E’ vero che i benefici della valutazione sono
superiori ai costi?

13. Stefano Fantoni (ANVUR)
«Stiamo lavorando con 10 milioni di
euro, dei quali in questo momento
stiamo usando solo quelli che ci
sono stati assegnati che sono 6,4
milioni. Questa cifra rappresenta
l'1,2% della distribuzione premiale»
http://www.flcgil.it/web-cronache/2012/05-17-tavola-
rotonda-anvur-e-politiche-di-sistema/15.00.00

14. Quanto costa davvero la valutazione?
 La VQR1 è costata tra 150 e 300 milioni di €
 Stima del tutto in linea con i costi del UK-REF
REF2014: technopolis UK £246m
Geuna-Piolatto 2015 max 164m/€!
VQR1: Sirilli: €300m Sirilli
Geuna Piolatto 2014: €182m
Geuna-Piolatto 2015: €71m
Stime a confronto

15. La valutazione serve a distribuire risorse
per evitare sprechi

16. Quanto pesa la VQR nella distribuzione dell’FFO
premiale?
€ 725,1 milioni
€ 57,5 milioni

18. Daniele Checchi (ANVUR): «Ma da
noi c’era il problema che una parte
dell’Accademia non scrive proprio. La
prima edizione della valutazione della
ricerca è servita a rendere trasparente il
fatto che nelle università c’era un 8 per
cento di inattivi, vale a dire di ricercatori
che non producevano nemmeno un
lavoro all’anno»
Corriere della Sera 1 marzo 2017

19. Quanto è costato scovare i fannulloni?
Per scovare ogni fannullone si sono spesi tra:
82.465€ - 135.931€

20. Ma gli inattivi ci sono solo in Italia?
 NO. Sono «connaturati» al lavoro scientifico

21. La valutazione serve per ridurre gli inattivi?
INATTIVI

23. Andrea Bonaccorsi: «Non esiste
una evidenza empirica robusta sul
fatto che la valutazione o anche i
sistemi di publish or perish, inducano
nel lungo periodo effetti distorsivi
permanenti sulla ricerca»
La valutazione possibile, p. 170

25. Ma una valutazione massiva ex post della
ricerca serve davvero?
In summary, the evidence indicates that
performance-informed (with or without a formal link
between perfomance and funding) does indeed increase the
pressure on researchers and institutions to meet the
performence criteria, irrespective of wheteher the
latter are based on peer review or on citations. This
is clearly an intended effect. […] The research
community respond strategically, and this may in
turn create unintended effects, either through the
mechanism of goal dispacement or through more
structural changes in research priorities, publication
activities, or research capacities and organization» (P.
Wouters, 2014)

26. Se la parola dell’autorità non vi basta…

28. Se invece non credete all’autorità…
http://www.ecns.cn/2017/05-02/255644.shtml

32. Gaming

34. Cosa resta degli argomenti digeriti dall’accademia
per giustificare la valutazione?
 Argomento 1. Così fan tutti
 Argomento 2. I benefici della valutazione superano
sicuramente i suoi costi
 Argomento 3. I professori devono rendere conto al
contribuente del loro lavoro
 Argomento 4. La valutazione serve ad individuare le
«code basse» (i.e. i fannulloni)
 Argomento 5. La valutazione spinge comunque a
comportamenti desiderabili

35. Q1. A che serve davvero la valutazione massiva della
ricerca?
1. Per placare «semi-outsiders: funders, governements,
university administrators a suspicious general public» in
cambio di risorse
2. Come strumento di controllo dei comportamenti
accademici da parte dei governi (Foucault)
3. Come screening device del capitale all’epoca della
«società della conoscenza» (Cognitive capitalism)

36. In cambio di risorse
 La valutazione massiva della ricerca sta sottoponendo
l’attività di ricerca al controllo diretto ed autoritario del
principe:
 «Se lo stato sceglie di usare direttamente il proprio potere …
farà valutare la ricerca offrendo l’uso della sua spada agli
studiosi più propensi ad assecondarlo. Otterremo, così, una
scienza di stato che non solo conterrà e imporrà - come nelle
pagine più buie della storia del Novecento - errori di stato, ma
sarà anche sistematicamente d’ostacolo a ogni libero e serio
dibattito scientifico.» (Pievatolo 2017)