Slides presentate al dibattito "Valutare la ricerca" organizzato dall'ADI (Associazione Dottorandi e Dottori di Ricerca Italiani), Pisa 29 novembre 2013. Partecipanti: A. Bonaccorsi (Univ. Pisa e ANVUR), G. De Nicolao (Univ. Pavia e Roars), A. Nuvolari (Scuola Sup. S. Anna)

1. VQR:
un
metro
ro-o?
Giuseppe
De
Nicolao
Dip.
Ingegneria
Industriale
e
dell’Informazione
Università
di
Pavia

2. Tesi:
nelle
aree
bibliometriche
la
VQR
è
inaffidabile
perché
basata
su
metriche
disomogenee
1. Le
aree
sono
scalibrate
(peccato
veniale)
2. Le
bibliometrie
degli
SSD
sono
scalibrate
(fatal
error)
3. Bibliometria
e
peer-­‐review
sono
scalibrate
(fatal
error)
4. Classifiche
credibili?

3. 1.
Le
aree
sono
scalibrate
ING-­‐INF/05!

4. I
due
volB
del
quadrato
magico
del
GEV09
BEST
Lo
schema
base
...
...
ha
due
varianB
...
WORST

5. Quale
bersaglio
preferite?
ING-­‐INF/05
Resto
del
GEV
09
BEST
BEST
1 punto
1 punto
0,8 punti
CITATIONS
0,8 punti
0,5 pti
0,5 pti
0 punti
JOURNAL RANKING
0 punti
WORST
JOURNAL RANKING
WORST

6. and
the
loser
is
...
ING-­‐INF/05!

7. and
the
loser
is
...
ING-­‐INF/05!

8. Area
09:
La
VQR
è
invalidata
Per
esempio,
a
parità
di
condizioni
un
diparJmento
di
Ing.
Meccanica
è
ingiustamente
avvantaggiato
rispeMo
ad
un
diparJmento
di
Ing.
InformaJca

9. Per
fortuna
la
scalibrazione
tocca
solo
il
GEV
09
...
o
no?
Per
rispondere,
andiamo
a
leggere
l’Appendice
A
del
Rapporto
Finale
VQR

11. Proviamo
a
visualizzare
la
Tabella
A1.1
aMraverso
la
metafora
del
Jro
con
l’arco

12. Le basi di tiro
bibliometrico

13. E = 1 B = 0,8 A = 0,5 L = 0

14. 20%
20%
10%
50%

15. Ma
come
sono
faW
i
bersagli
veri?
Ce
lo
dice
l’ANVUR:
infaR,
la
Tabella
A1.1
ci
fornisce
proprio
le
dimensioni
degli
anelli
del
bersaglio
per
ciascuna
area
CUN

16. I
veri
“bersagli
VQR”
sono
diversi
da
quello
teorico
e
cambiano
da
area
ad
area

17. Ti
piace
vincere
facile?
22%
40%
21%
13%
44%
25%
Scienze
Mediche
Ingegneria
Industriale
e
dell’Informazione
14%
21%

18. Morale:
Le
for5
variazioni
inter-­‐area
rendono
i
vo5
incomparabili
tra
aree
diverse
L’ANVUR
lo
sa
e
scrive
che
i
voB
in
aree
diverse
non
sono
comparabili
...
(peccato
veniale)
...
ma
il
problema
è
dentro
le
aree.

19. 2.
La
bibliometria
dei
SSD
è
scalibrata

20. I
bersagli
dei
SSD
sono
scalibraB?
Sì,
come
confessa
il
GEV
09

21. I
bersagli
dei
SSD
sono
scalibraB?
Sì,
come
confessa
il
GEV
02

22. Area
02:
lo
schema
base
....

23. ....
e
le
ricalibrazioni

24. Tu-o
è
bene
quel
che
finisce
bene?
• Il GEV 02 ha ricalibrato
• Tutto bene, allora
• Non proprio, perché
1. Gli altri GEV non hanno ricalibrato
2. Ricalibrando, il GEV 02 ha cambiato
la proporzione di peer-review (altra
fonte di scalibrazione)

25. I
bersagli
dei
SSD
sono
scalibraB?
Altra
evidenza
dal
GEV
09

26. I
bersagli
dei
SSD
sono
scalibraB?
Altra
evidenza
dal
GEV
09
Nell’area 09 ci sono due misure “esterne”
alla VQR: Top 1% e 5% secondo Web of Science

27. % ECCELLENTI WoS (Top 5%)
Area 09: confronto Web of Science vs VQR
... ma la misura
esterna Top 5%
non è troppo
coerente con la
% Eccellenti
della VQR ...
% ECCELLENTI VQR

28. % ECCELLENTI WoS (Top 5%)
... e nemmeno
con il voto
medio VQR
VOTO MEDIO VQR

29. Morale
della
favola
• Le
bibliometrie
dei
SSD
sono
scalibrate
(confessione
del
GEV
02)
• Area
09:
SSD
“eccellenY”
per
VQR
non
lo
sono
per
Web
of
Science
FATAL
ERROR?

30. 3.
Bibliometria
e
peer-­‐review
sono
scalibrate

31. La
versione
ufficiale
“una più che adeguata concordanza
tra valutazione peer e biblio”
Stesse identiche parole in tutti i
rapporti di area 01-09

32. Visualizziamo
la
concordanza
peer-­‐review
vs
bibliometria
E
Livelli di grigio
proporzionali alla
frequenza dei casi
A
L
IP
E
VALUTAZIONE BIBLIO
Questo è il caso
ideale (i giudizi
concordano sempre).
B
B
A
L
IR
VALUTAZIONE PEER

33. AGUZZATE
LA
VISTA:
trovate
la
concordanza
VQR
(Area
09)
in
mezzo
a
13
campioni
casuali
a
concordanza
nulla
CASO
IDEALE

34. La
versione
ufficiale
traballa
ANVUR: k = 0, 1710
concordanza più che
adeguata
Wikipedia: 0 ≤ k ≤ 0,4
concordanza scarsa

35. La
versione
ufficiale
traballa
ANVUR: k = 0, 1710
concordanza più che
adeguata
Wikipedia: 0 ≤ k ≤ 0,4
concordanza scarsa

36. Un
errore
di
Wikipedia?
Non
sembra:

37. VOTO MEDIO VQR
SSD:
Voto
medio
VQR
vs
%
peer
review
il voto medio
VQR di ogni SSD
è ben predicibile
dalla % di
prodotti valutati
mediante peerreview (!)
% PEER REVIEW

38. Morale
della
favola
• Valutazione
bibliometrica
e
peer-­‐review
concordano
poco
• VoY
più
bassi
per
chi
ha
%
maggiore
di
prodoR
valutaY
in
peer
review
• SSD
eccellenB
secondo
ANVUR
non
sono
quelli
eccellenB
secondo
Web
of
Science,
ma
quelli
che
hanno
una
bassa
%
di
peer-­‐review
FATAL
ERROR?

39. 4.
Classifiche
credibili?

40. Classifiche
per
chiudere
SERGIO BENEDETTO
(CONSIGLIO DIRETTIVO ANVUR)
4–02-2012!

41. Messina
meglio
di
Milano
Politecnico?
Area
8b:
Archite_ura
Area
9:
Ingegneria
Industriale
e
dell’informazione

42. Messina
meglio
di
Milano
Politecnico:
sarà
colpa
di
qualche
errore
casuale?
Ma
l’ANVUR
dice
che
...

43. «Il
caso
non
ha
dunque
nulla
a
che
fare
con
i
risultaB
della
Vqr»
S.
Benede_o
e
R.
Torrini
h_p://www.lavoce.info/una-­‐valutazione-­‐molto-­‐chiara/

44. «La
VQR
in
realtà
ha
come
compito
primario
quello
di
creare
conoscenza
per
il
policy
maker,
per
gli
organi
di
governo
delle
Stru_ure,
per
i
giovani
che
vogliono
intraprendere
gli
studi
universitari
…»
S.
Fantoni,
“Una
radiografia
del
sistema
universitario”,
in:
I
vo5
all’università,
supplemento
del
Corriere
della
Sera,
Luglio
2013,
pag.
12

45. Proposta:
stanziare
borse
di
studio
per
gli
studenY
milanesi
più
capaci
e
meritevoli
perché
possano
andare
a
studiare
Archite_ura
ed
Ingegneria
a
Messina.

46. Problemi
bibliometrici
della
VQR
• Non
c’è
uniformità
del
metro
di
giudizio
bibliometrico
tra
le
aree
• ForY
indizi
che
il
metro
di
giudizio
sia
disuniforme
anche
nelle
le
aree
• Il
mix
bibliometria/peer
review
introduce
ulteriori
disuniformità
• Conseguenza:
sono
credibili
le
pagelle
VQR?

47. Cato mirari se aiebat,
quod non rideret
haruspex haruspicem
cum vidisset
Cicerone, DE NATURA DEORUM, III, 26

48. Grazie
per
l’a_enzione!

49. AGUZZATE
LA
VISTA:
trovate
la
vera
VQR
(Area
09)
in
mezzo
a
o-o
VQR
puramente
casuali,
simulate
con
il
Lego