seminario al cnr sulla valutazione 24.04.2012

1. Problemi dell’ANVUR e della VQR
Francesco Sylos Labini
Centro Enrico Fermi & Istituto dei Sistemi Complessi,
CNR, Roma
www.roars.it

2. www.roars.it
In un paese normale la valutazione
dell’università come dovrebbe procedere?
•Ministro e Parlamento decidono come distribuire in modo
efficiente le risorse per l’Università.
•Agenzia indipendente di valutazione responsabile delle
procedure di valutazione.
•Il Ministro richiede all’agenzia di procedere ad un esercizio di
valutazione, stanziando le risorse necessarie (1-2% totale
risorse per la ricerca).
•L’Agenzia organizza l’esercizio di valutazione.

3. www.roars.it
In un paese normale la valutazione
dell’università come dovrebbe procedere?
•il Ministro utilizza i dati della valutazione per decidere gli
interventi di finanziamento.
•Questo modo di procedere separa nettamente le
responsabilità della politica (distribuzione delle risorse,ecc ),
da quelle dell’Agenzia che ha il compito di per sé assai
complesso di svolgere un esercizio di valutazione i cui risultati
siano giudicati credibili dalla comunità dei valutati.
•Questo schema è adottato senza varianti degne di nota nel
Regno Unito, in Francia, in Australia, ovvero in tutti quei
paesi che hanno deciso di dotarsi di sistemi di valutazione.

4. www.roars.it
Cosa fa (dovrebbe fare)
l’agenzia di valutazione ?
•Sceglie opportunamente le metodologie e le tecniche
della valutazione tra quelle disponibili a livello
internazionale, adattandole al contesto.
•Nel caso in cui preveda di utilizzare estesamente la
peer review, nomina dei gruppi di esperti che
organizzano e verificano le procedure di peer review.
•Nel caso in cui preveda di utilizzare strumenti
bibliometrici, li testa e li discute con esperti di settore.

5. www.roars.it
Cosa fa (dovrebbe fare)
l’agenzia di valutazione ?
•Nel caso in cui preveda di utilizzare classifiche di
riviste e sedi editoriali di pubblicazione, costruisce
insieme alle comunità scientifiche classifiche di riviste.
•Poiché l’Agenzia sa benissimo che ogni processo di
valutazione modifica i comportamenti dei valutati, sta
molto attenta ad adottare tecniche di valutazione che
non creino danni comportamentali o che spingano il
sistema della ricerca ad adottare comportamenti
indesiderabili, avvisando il ministro e la comunità
accademica di ciò.

6. www.roars.it
E in Italia come funziona?
•Il ministro (Gelmini) decide di svolgere un nuovo esercizio di
valutazione.
•Il ministro scrive un decreto che dà il via all’esercizio di
valutazione.
•Inserisce nel decreto le modalità operative ed i criteri della
valutazione, scrive cioè quali sono le metodologie di
valutazione e gli strumenti.
•L’ ANVUR, anziché far notare al ministro che in nessun paese
del mondo il Ministro dice all’agenzia come si valuta, dà il via
all’esercizio di valutazione

7. www.roars.it
E in Italia come funziona?
•Il ministro ha previsto che si possa usare anche la
peer review; l’ANVUR allora specifica che almeno il
50% dei prodotti sarà soggetto a peer review.
•Il ministro ha previsto (art. 3 commi 3 e 4) che ci
debbano essere dei gruppi di esperti di valutazione
nominati dall’ANVUR e che ognuno di questi gruppi
abbia un presidente scelto dall’ANVUR tra i membri.
•L’ANVUR nomina prima i presidenti dei GEV e poi,
evidentemente con l’aiuto di questi ultimi, i 450
membri.

8. www.roars.it
E in Italia come funziona?
•Poi l’ANVUR attribuisce ai GEV la possibilità di crearsi le
classifiche delle riviste da utilizzare nella valutazione, e
sollecita anche la loro fantasia bibliometrica: quindi
persone scelte perché esperte e competenti in medicina,
chimica, ingegneria, filosofia, letteratura, scienze
giuridiche, medicina, etc. sono invitati a creare
bibliometria fai da te.
•L’ANVUR sollecita informalmente le società scientifiche a
far pervenire classifiche delle riviste. Quindi, sottopone
queste classifiche a peer review. Procedura sconosciuta in
qualsiasi altra procedura di valutazione.

9. www.roars.it
E in Italia come funziona?
•Secondo il coordinatore della VQR il compito dell’ANVUR è
quello di creare una classifica delle strutture accademiche:
“Tutte le università dovranno ripartire da zero. E quando
la valutazione sarà conclusa, avremo la distinzione tra
researching universities e teaching universities. Ad alcune si
potrà dire: tu fai solo il corso di laurea triennale. E qualche
sede dovrà essere chiusa
•Dunque, in Italia il Ministro ha fatto il mestiere dell’agenzia
di valutazione; l’ANVUR vuole fare il mestiere del Ministro; i
GEV fanno i bibliometrici e svolgono i compiti che altrove
sono appannaggio delle comunità scientifiche.

10. www.roars.it
Anomalie che hanno caratterizzato
la fase preparatoria della VQR:
Tutte le università dovranno ripartire da zero. E quando la valutazione
sarà conclusa, avremo la distinzione tra researching university e
teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea
triennale. E qualche sede dovrà essere chiusa. Ora rivedremo anche i
corsi di dottorato, con criteri che porteranno a una diminuzione molto
netta.

11. www.roars.it
Anomalie che hanno
caratterizzato la fase preparatoria della VQR:

12. www.roars.it
Anomalie che hanno
caratterizzato la fase preparatoria della VQR:
"Per capire meglio cosa è accaduto, ho interpellato un
esperto australiano che ha avuto ruoli importanti
nell’Australian Research Council (ARC), che conosce
dal di dentro la vicenda e che, per comprensibili
ragioni, mi ha chiesto l’anonimato. Ecco la sua
ricostruzione dei …... Si è trattato quindi, a suo
giudizio, non di debolezze metodologiche ma di
pressioni politiche.”
Andrea Bonaccorsi, Aprile 2012, Anvur

13. www.roars.it
In estrema sintesi
quali sono le critiche principali al VQR?
• la confusione tra progettisti dei criteri e valutatori;
• la confusione tra eccellenza scientifica e competenza
nel gestire e condurre processi divalutazione;
• la mancanza di tempo e trasparenza nella definizione
dei criteri bibliometrici;
• l’uso di punteggi negativi frutto di un’ossessione
punitiva talmente forte da sconfinare nella sciatteria
matematica.

14. www.roars.it
Anomalie che hanno caratterizzato
la fase preparatoria della VQR:
•La proposta di una procedura di classificazione
bibliometrica a due stadi, senza precedenti e senza basi
scientifiche, che può dare esiti paradossali
•La classifica bibliometrica delle riviste basata sulla
media di rankings di indicatori bibliometrici, una pratica
scientificamente screditata
•La nuova proposta di usare una classifica basata sulla
PCA che può dar luogo ad una “classifica di Pinocchio”
che preferisce le riviste peggiori a quelle migliori

15. www.roars.it
Anomalie che hanno caratterizzato
la fase preparatoria della VQR:
• Una formula per ripartire la quota premiale tra le
strutture basata su una una combinazione “convessa”
con pesi negativi, non solo gravida di paradossi, ma
capace di instaurare meccanismi di punizione collettiva,
in contrasto con i criteri usati all’estero.
5. L’annuncio da parte del coordinatore della VQR della
chiusura di sedi sulla base delle future classifiche della
VQR, quando le agenzie di valutazione straniere (UK e
Australia,ecc.) producono solo “quality profiles”,
rifiutandosi in modo assoluto di fornire classifiche

16. www.roars.it
Anomalie che hanno caratterizzato
la fase preparatoria della VQR:
6. Il pregiudizio negativo del coordinatore della VQR nei confronti della
qualità della produzione scientifica italiana, a dispetto dei dati
bibliometrici che mostrano che l’impatto scientifico della quasi totalità
degli atenei statali sta sopra la media mondiale
7. I criteri punitivi nei confronti degli enti di ricerca come il CNR, i cui
ricercatori devono presentare un numero doppio di prodotti di ricerca
(sei, invece che tre, come per gli universitari), quando non sembra
esistere evidenza bibliometrica, né nazionale né internazionale, che la
“produttività bibliometrica” degli enti di ricerca non universitari debba
essere doppia di quella degli universitari
8. L’anomala composizione del GEV13, in cui almeno il 75% dei
membri sono strettamente legati tra di loro, come dimostrato dalla
“network analysis”