Seminario di Giorgio Sirilli al CNR il 24.04.2012

1. Convegno CGIL
Roma, 24 aprile2012
La Valutazione della Qualità della Ricerca (VQR)
Le sfide per gli enti di ricerca
Giorgio Sirilli

2. Indice
 Gli obiettivi
 Gli attori
 L’approccio
 L’impatto sugli enti pubblici di ricerca
 Ancune considerazioni

3. Avvertenza
Le diapositive con lo sfondo bianco contengono informazioni
Quelle con lo sfondo fondo blu contengono opinioni

4. L’ANVUR è un’Agenzia del MIUR, come l’Agenzia delle entrate è un’Agenzia
del MEF
Non è dunque una Autorità indipendente come l’Autorità garante della
concorrenza ed altre, ma uno strumento del ministro
E’ composta da sette membri (tutti universitari)
Presidente: Stefano Fantoni
Coordinatore della VQR: Sergio Benedetto
Vice coordinatore della VQR: Andrea Bonaccorsi

5. Gli attori della VQR
 ANVUR
 Gruppi di Esperti della Valutazione (GEV)
 Revisori
 Strutture
 Università
 Dipartimenti
 Enti di ricerca
 CINECA
 Ricercatori /tecnologi/docenti
Nella VQR vi sono due tipi di attori: le istituzioni (ANVUR, enti di ricerca, università) ed i
singoli ricercatori/tecnologi/docenti. Quest’ultimi hanno la responsabilità diretta della
fornitura dei “prodotti” attraverso il CINECA: se non forniscono i dati la VQR non può
essere eseguita.

6. La VQR
LA VQR è stata pensata dagli universitari per valutare l’università, gli enti
di ricerca sono un accidente
Gli universitari non “capiscono” il CNR. Ciò è stato ampiamente dimostrato
in occasione della valutazione svolta nel 2009 allorché i panel di esperti
hanno visitato gli Istituti
Gli universitari hanno un conflitto di interessi con la “seconda rete
scientifica”: la considerano una piattaforma al loro servizio da utilizzare e
da governare per svolgervi le attività che non riescono a realizzare nelle
università

7. Oggetto della valutazione
E’ stato deciso di valutare gli enti di ricerca nel loro complesso, non i
singoli istituti (107 nel CNR, simili ai dipartimenti).
Nelle università vengono valutati anche i dipartimenti

8. La VQR
 Gruppi di Esperti di Valutazione (GEV)
 14 Gruppi (vedi tabella seguente)
 450 esperti, quasi tutti universitari. Soltanto 3 sono ricercatori del
CNR
 Centinaia di referee (presumibilmente quasi tutti universitari,
selezionalti dagli universitari) che riceveranno il compenso di 30 euro
a “prodotto”)
 Cronoprogramma della VQR
 Inizio: novembre 2011
 Fine: giugno 2013

9. VQR – Aree, GEV, ricercatori, prodotti
GEV Universities Research agencies
Max
Full Assistant Research Technolo number of
Area professor professor Researcher TOTAL er gist products
Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075
Physics 18 604 816 870 2290 262 44 8572
Chemistry 23 703 963 1293 2959 338 57 11076
Earth science 9 259 376 460 1095 125 21 4099
Biology 38 1234 1361 2283 4878 557 94 18259
Medicine 79 2186 2955 5052 10193 1165 196 38154
Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375
Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483
Industrial and Computer engineering and
Ancient History Philological Literature 39 1600 1504 1961 5065 579 97 18959
Arts 42 1512 1628 2256 5396 617 104 20198
History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469
Law 37 1612 1123 2049 4784 547 92 17907
Economics and Statistics 36 1580 1331 1758 4669 533 90 17477
Political and Social sciences 13 437 485 775 1697 194 33 6352
TOTAL 449 15972 16980 24875 57827 6609 1112 216455

10. Il costo della VQR
E’ stato stimato che la VQR costerà 300 milioni di euro,
pari a metà del Fondo di Finanziamento Ordinario del CNR
Il costo verrà sostenuto principalmente dall’università (92%)
mente la quota rimanente sarà a carico delle strutture da valutare
(6%) e dell’ANVUR (2%)

11. La metodologia della VQR
Nella VQR verranno raccolti i dati relativi a 15 indicatori:
7 indicatori di Area
8 indicatori di “Terza missione”
E’ stata adottata una metodologia “a tavolino”, basata
soltanto su documenti
E’ da notare la terminologia usata: “Terza missione” è un concetto residuale
dell’università che è impegnata prioritariamente nella didattica e nella ricerca. Le
attività elencate fanno pienamente parte della missione degli enti pubblici di ricerca,
non sono residuali.

12. Indicatori
Indicatori di Area legati alla ricerca:
qualità (0,5)
attrazione di risorse (0,1)
mobilità (0,1)
internazionalizzazione (0,1)
alta formazione (0,1)
risorse proprie (0,05)
Oggi l’attenzione è tutta qui
miglioramento (0,05)

13. Qualità delle pubblicazioni
Punteggi:
eccellente 1,0 20% superiore della scala internazionale
buono 0,8 60-80%
accettabile 0,5 50-60%
limitato 0,0 <50%
mancante -0,5
non valutabile -1,0
plagio o frode -2,0
La VQR presenta forti caratteri di originalità. Prevede l’assegnazione di valori negativi,
scleta ignota ad altre procedure valutative. La distribuzione 20-20-10-50 non riflette la
distribuzione statistica delle pubblicazioni

14. Problemi della valutazione dei prodotti
Valutazione dei pari/
bibliometria
Riviste da
Giudizio finale Associati includere
dei GEV
Classificazioni
Pesi Selezione dei
Presenza schiacciante
20-20-10-50 referee
degli universitari
Valori positivi Prodotti 6/3
e negativi
Nell’ovale è riportato un elenco, non esaustivo, dei punti critici della VQR: in
particolare l’assegnazione di punteggi negativi e la richiesta ai ricercatori degli enti di
ricerca di esibire 6 “prodotti” ed agli universitarii di esibirne 3

15. Gli indicatori
Indicatori di struttura di ‘terza missione’:
conto terzi (0,2)
brevetti (0,1)
spin-off (0,1)
incubatori (0,1)
consorzi (0,1)
siti archeologici (0,1)
poli museali (0,1)
altre attività (0,2)
Le strutture dovranno fornire i dati su 14 indicatori: tali dati non sono certificati da
un’autorità indipendente, per cui vi potranno essere comportamenti opportunistici
nella competizione tra enti e università per l’assegnazione delle risorse. In particolare
la categoria “alte attività” si presta a libere e interessate interpretazioni di carattere
estensivo

16. La carta europea dei ricercatori
Valutazione
“Il merito non dovrebbe essere valutato esclusivamente sul numero di
pubblicazioni, …., ma dovrebbe essere ponderato con le attività di
insegnamento e supervisione, il lavoro di équipe, il trasferimento delle
conoscenze, la gestione della ricerca, l’innovazione e le attività di
sensibilizzazione del pubblico”
Le attività segnate in rosso, svolte dai ricercatori e menzionate della Carta europea dei
ricercatori, non sono considerate nella VQR

17. Quanti indicatori?
Uno, nessuno, centomila?
Tre scenari per gli indicatori:
 un indicatore sintetico
 due indicatori (Area e Terza missione)
 cruscotto (scoreboard)
Scenari possibili:
 graduatorie (Shanghai)
 multi-ranking
Quale sarà l’output della VQR: un solo indicatore per ciascuna struttura, due indicatori
o un cruscotto di 15 indicatori?
Mancano regole chiare econdivise: la metodologia della VQR non dà risposta a questi
quesiti lasciando aperte tutte le possibilità

18. Valutazione della Qualità della Ricerca (VQR)
Università Enti di ricerca
Didattica
Ricerca
Ricerca
Terza
Terza missione
missione

19. Valutazione della Qualità della Ricerca
(VQR)
VAlutazione delle Strutture che svolgono Attività di RIcerca e
di TRAsferimento delle COnoscenze (VASARITRACO)
La VQR non valuta la ricerca e la sua qualità, ma le strutture impegnate in una serie di
attività di produzione e trasferimento delle conoscenze

20. Un profilo degli enti pubblici di ricerca
La VQR valuta soltanto i 12 enti di ricerca vigilati dal MIUR, lasciando fuori importanti
enti di ricerca come l’ENEA, l’ISTAT, l’Istituto Superiore di Sanità, l’ISFOL
Gli enti pubblici di ricerca sono profondamente diversi tra loro per dimensione,
missione e struttura, e diversi dall’università
Tra I 12 enti vigilati dal MIUR soltanto 6 svolgono attività di ricerca
Va chiarito come verranno valutati gli enti che non svolgono attività di ricerca (per
esempio l’Agenzia spaziale italiana

21. Gli enti pubblici di ricerca:
realtà molto eterogenee

22. Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009
Sigla Caratteristiche
differenziazione svolge svolge svolge
scientifica e attività di attività di attività di
tecnologica ricerca formazione servizio
Enti vigilati dal Miur
Cnr alta sì sì sì
Infn bassa sì sì no
Inaf bassa sì no no
Ingv bassa sì no sì
Asi bassa no no no
Inrim media no sì sì
Ogs media sì no no
Stazione zoologica "A. Dohrn" bassa sì sì sì
Parco tecnologico Trieste alta no sì sì
Centro Fermi bassa no no no
Indam bassa no no no
ISG bassa no no no
Altri enti 6/12 5/12 5/12
Enea alta sì sì si
Istat bassa sì sì sì
Iss media sì sì sì
Isfol bassa sì no si
Iit media sì no no

23. La valutazione degli Istituti del CNR
 Nel 2009 il CNR ha sottoposto a valutazione i suoi 107 Istituti di ricerca
 E’ stata impiegata una metodologia che prevedeva sia l’analisi “a
tavolino” che le “visite in loco”
 Il costo diretto della valutazione è stato di 1,8 milioni di euro, a cui vanno
aggiunti i costi indiretti stimati pari a 2,8 milioni di euro. Totale: 4,6
milioni di euro
 Il return on investment è stato finora pari a 0. Non risulta che le
informazioni raccolte non siano state utilizzate per orientare le scelte
dell’ente
Sarebbe oppotuno utilizzare i risultati della valutazione degli Istituti del CNR per
eseguire la VQR
Andrebbe affettuato un accurato calcolo del costo che stanno sostenendo gli enti di
ricerca per corrispondere alle richieste della VQR

24. L a valutazione degli Istituti - 2009
Nel caso della valutazione degli Istituti del CNR le regole erano chiare fin dall’inizio ed
il personale era coinvolto nell’ambito degli Istituti ma non era chiamato a fornire al
Panel generale alcuna informazione. Al termine dell’esercizio ciascun Istituto ha
avuto la sua valutazione numerica e qualitativa (vedi gli esempi sopra riportati)

25. Una simulazione sul comportamento dei ricercatori/tecnologi del CNR
Nel caso in cui 350 ricercatori/tecnologi (il 10%) non inserisca i dati
("mancante" nel gergo ANVUR) l'impatto sarà di una diminuzione del
punteggio del 18,3%.
Nel caso in cui 350 ricercatori/tecnologi (10%) inserisca qualche prodotto
anomalo (“non valutabile” nel gergo ANVUR), l'impatto sarà di una
diminuzione del punteggio del 26,7%.

26. Alcune considerazioni
 Non c’è dubbio che gli enti pubblici di ricerca debbano essere valutati
 La metodologia della VQR è una originalità nel panorama internazionale e
non è stata sottoposta a test
 La metodologia della VQR è inadatta per gli enti di ricerca
 La VQR penalizza il CNR
 Gli enti dovrebbero essere valutati con una metodologia ad hoc (“a
tavolino” e “in loco”)

27. Alcune considerazioni
 Per il CNR andrebbero utilizzati i risultati della valutazione svolta tre anni
fa
 Le informazioni acquisite sui “prodotti” sono “vecchie” (2004-2010): nel
frattempo sono cambiate molte cose
 La valutazione deve essere adiuvante, non punitiva (le dichiarazioni di
Benedetto hanno suscitato molta apprensione circal’uso dei risultati della
VQR)
 La VQR, come ogni tipo di musurazione, cambia le regole del gioco. C’è il
pericolo che i ricercatori degli enti di ricerca, per ben apparire nelle
classifiche VQR, tendano ad appiattirsi sui parametri tipicamente
universitari, snaturando la missione degli enti di ricerca
 Vanno chiarite le modalità di utilizzazione dei risultati da parte dei policy
maker (dentro e fuori gli enti)

28. E ora … affrontiamo le sfide
Grazie dell’attenzione