1. VQR: diagnosi, patologia e prognosi
della bibliometria fai-da-te
Giuseppe De Nicolao (Univ. di Pavia)
ANVUR e politiche di sistema
Roma, 17 maggio 2012

2. Capitoli
1. La parete nord della valutazione
2. Classifiche fai-da-te
3. Alcune valutazioni sono più uguali delle altre
4. Dove stiamo andando?

3. Capitolo 1
La parete nord
della valutazione

4. Vetta: valutazione nazionale della ricerca
Vie classiche: peer review, statistiche bibliometriche
Parete nord: valutazione bibliometrica dei singoli articoli
Tre spedizioni:
UK - RAE/REF Australia - ERA Italia - VQR

5. British REF (Research Excellence Framework)
Bibliometrics are not sufficiently robust at this stage to be used
formulaically or to replace expert review in the REF
Report on the pilot exercise to develop bibliometric indicators for the Research
Excellence Framework, September 2009
Australian ERA (Excellence of Research in Australia)
There is clear and consistent evidence that the rankings were being
deployed inappropriately … in ways that could produce harmful
outcomes
Ministro K. Carr, 30 Maggio 2011

6. Italia - VQR
Definizione criteri: 3 mesi
Fonte: Servizio Studi, Politecnico di Milano
Atenei
GEV
ANVUR
14 GEV ⇒ 14 Bibliometrie fai-da-te
6

7. VQR: criteri fai-da-te
• Approcci eterogenei ed empirici per far fronte
alla carenza di tempo
• Per dare un’idea delle criticità, tre esempi:
– classifica delle riviste del Sub-GEV01.1
– soglie bibliometriche del GEV09
– paradossi della valutazione delle strutture

8. Capitolo 2
Classifiche fai-da-te

9. Una classifica fai-da-te delle
riviste
• Problema: come costruire una classifica
“oggettiva” delle riviste?
• Idea: indicatori bibliometrici (Impact Factor, 5-
Year Impact Factor, EigenFactor, Article
Influence)
• Problema: Quale scegliere?
• Idea: Media di indicatori
• Problema: come normalizzarli?
• Idea: 4 classifiche e poi calcolo la media delle
posizioni in classifica

10. Journal of Excellent Computing
1° – Impact Factor
3° – 5-Year Impact Factor
6° – Eigenfactor Score
10° – Article Influence
Media dei ranking= (1 + 3 +6 +10)/4 = 5
Simile allo score Rf usato dal Sub-GEV01.1
(vengono mediati un ranking bibliometrico e le
classi di merito di 2 classifiche)
GEV01 – Frequently Asked Questions, p. 6
http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev01_faq.pdf

11. Il giro d’Italia fai-da-te
• Coppi vince il tappone dolomitico
con 20 min di distacco sul secondo:
maglia rosa!
• Il giorno dopo arriva decimo a 3
secondi dal primo
• Maglia rosa passa ad un gregario
che è arrivato quinto in tutte e due
le tappe
Gregario: (5 + 5)/2 = 5
Coppi: (1 + 10)/2 = 5.5

12. Negli USA, nella valutazione
degli “high-stakes” test, la
media dei percentile ranks è
stata abbandonata in quanto
statisticamene scorretta
“The only reason for using percentile ranks is
ignorance, and it is questionable whether a
defense of ignorance will be viable.”
B. Thompson (1993)

13. Capitolo 3
Alcune
valutazioni sono
più uguali delle
altre

14. ANVUR proposal: Use bibliometry, # of citations
(and informed peer review)
Bibliometry (IF,…) Bibliometry (IF,…)
A B C D A B C D
A A A A A? A A IR IR IR
Old
articles
B IR B IR IR B A B IR D
Citations
Citations
C IR IR C IR C A IR C D
Recent
D IR D D D
articles
D A? IR IR D
For the matrix entries labeled IR we rely on the informed peer review
14

15. I due volti del quadrato
magico del GEV09
BEST
Lo schema ... ha due
base ... varianti ...
WORST

16. Quale bersaglio preferite?
ING-INF/05 Resto del GEV 09
BEST BEST
1 punto 1 punto
0,8 punti 0,8 punti
0,5 pti
CITATIONS 0,5 pti
0 punti 0 punti
JOURNAL RANKING WORST JOURNAL RANKING WORST

17. Che vantaggio offre il bersaglio facile?
Ipotesi: articolo estratto a caso da produzione mondiale, assumendo quattro diverse
distribuzioni, vedi: http://www.roars.it/online/?p=6280
Vantaggio = + 40%

18. Area 09: una gara alla pari?
Se fossero tutti bravi uguali, chi
è favorito dal bersaglio facile?

19. S. Benedetto: “Tutte le università dovranno
ripartire da zero. E quando la valutazione sarà
conclusa, avremo la distinzione tra researching
university e teaching university. Ad alcune si
potrà dire: tu fai solo il corso di laurea triennale.
E qualche sede dovrà essere chiusa”
Repubblica, 4 Febbraio 2012

20. La formula “ammazza-atenei”
Le conseguenze paradossali dei punteggi negativi per i prodotti mancanti

21. Capitolo 4
Dove stiamo
andando?

22. Gli errori architetturali della VQR
• La confusione tra progettisti dei criteri e
valutatori
• La confusione tra eccellenza scientifica e
competenza nel gestire e condurre processi
divalutazione
• La mancanza di tempo e trasparenza nella
definizione dei criteri bibliometrici

23. Problemi bibliometrici della VQR
• Cade l’uniformità del metro di giudizio bibliometrico
dentro le aree
• Il mix bibliometria/peer review introduce ulteriori
disuniformità
• Procedura contorta che mette in crisi i singoli e le
strutture nella selezione dei prodotti migliori
• Conseguenza: risultati inaffidabili e spreco di risorse
(e credibilità)
• Chi sta remando contro la valutazione (seria)?

24. Bibliografia
• La classifica di Nonna Papera
http://www.roars.it/online/?p=3567
• Alcune valutazioni sono più uguali delle altre
http://www.roars.it/online/?p=6280
• La formula ammazza-atenei
http://www.roars.it/online/?p=4391

25. Grazie per l’attenzione!