La ricerca umanistica: i risultati della VQR 2004-2010 Milano 23 ottobre 2013 La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati I risultati della valutazione del nucleo / i risultati della VQR

1. Paola Galimberti
La ricerca umanistica: i risultati
della VQR 2004-2010
Milano 23 ottobre 2013
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo/ i risultati della VQR

2. VQR maneggiare con cura (Cit da G. De Nicolao)
Premessa
- I report VQR vanno letti nella loro totalità. Paradossalmente i rapporti per le
strutture sono la parte meno significativa
- La VQR ordina sempre strutture, SSD, Dipartimenti sull’area.
- E’ opportuno leggere gli indicatori I, R ed X all’interno dell’area.

3. Una lettura diversa (da quella fatta dal Prof.
Florio nella seduta congiunta di CdA e SA)
• Il nucleo vede tutto il Dipartimento il GEV vede solo
l’area.(M.Florio 21 attobre)
 Il Gev vede tutta l’area a livello nazionale ed effettua
un benchmark sulla base della lettura delle
pubblicazioni. Il nucleo fa un benchmark solo su
personale e attrazione fondi, NON sulle pubblicazioni
• Il GEV effettua un benchmark sull’area CUN. Si
confronta Bioscienze di Milano con Oncologia di Torino
 Il confronto viene fatto fra il pezzo di area 06 di
Bioscienze (MI) e il pezzo di area 06 di Oncologia (TO)
nel segmento G

4. Una lettura diversa
• Il 20% dei docenti produce il 50% delle pubblicazioni
(vergogna!)
 Lotka anni ’20
 Bradford 1934 (alla base del SCI di Garfield)
 Zipf 1949
Il sistema della scienza funziona così da 100 anni, non
solo qui ma ovunque.
Si può cambiare?

5. Breve storia della Valutazione della Qualità
della Ricerca
• Arco temporale nov. 2011- giugno 2012 (con strascichi
fino al 2013)
• Bando pubblicato dopo un periodo di esposizione
pubblica per poter raccogliere suggerimenti dal basso
• 3 lavori sul settennio per docente (6 per gli affiliati
anche a centri di ricerca), ogni lavoro presentato una
sola volta per la stessa struttura
• Sconto per i ricercatori più giovani o per chi aveva
usufruiti di periodi di congedo
• Tipologie di lavori presentabili definiti dal bando

6. Breve storia della Valutazione della Qualità
della Ricerca
• 14 Gruppi di esperti della Valutazione a numerosità
variabile a seconda dell’ampiezza dell’area e della
numerosità degli SSD
• I GEV hanno definito il protocollo interno:
- Criteri per la creazione di una lista di riviste con la
collaborazione delle società scientifiche
- Scelta del gruppo di confronto PR vs. bibliometria (o
PR vs. liste di riviste)
- Scheda di valutazione

7. Breve storia della Valutazione della Qualità
della Ricerca
- Selezione dei revisori secondo un protocollo rigoroso e
attribuzione dei lavori agli stessi (2 revisori ogni lavoro
in media) – Corrispondenza fra SSD pubblicazione e
SSD revisore
- Consensus group in caso di revisione contrastanti
- Modalità di assegnazione dei lavori del presidente del
GEV e dei componenti del gruppo (conflitti di
interesse)

8. La fase di prevalutazione interna
• Coinvolgimento dei Direttori dei Dipartimenti ante
legge 210
• Un gruppo di coordinamento formato dai prorettori e
DG
• Selezione concordata (soprattutto nel caso di
coautoraggi)
• I Direttori avevano la possibilità di controllare che i
colleghi avessero selezionato le pubblicazioni dovute,
la presenza di eventuali conflitti interni la presenza di
tutti i dati richiesti

9. La fase di prevalutazione interna
• Ai Direttori è stato reso disponibile tramite surplus uno strumento di
monitoraggio sulle scelte effettuate dai colleghi
• Ai singoli docenti è stato messo a disposizione uno strumento per
l’integrazione dei dati da inviare ma mancanti in surplus (SSD ad
esempio, presenza di coautore straniero, abstract, lingua ecc.) e le
integrazioni sono state inviate al sito docente
• La fase di prevalutazione interna ha coinvolto tutti i direttori dei
dipartimenti e i loro delegati, i 50 bibliotecari che hanno validato le
registrazioni immesse ad hoc per la VQR
• Tre persone a tempo pieno che hanno lavorato al monitoraggio per tutti i
mesi della VQR affiancando i direttori e sollecitando i ritardatari

10. Per le sole aree 10 e 11 di unimi sono stati
dunque coinvolti
• Circa 10 bibliotecari
• 3 / 4 persone che hanno lavorato sui dati
• Tutti i docenti di area 10 e 11 distribuiti in 20
dipartimenti e i Direttori dei Dipartimenti ante Legge
210 (8 a Lettere e Filosofia + una parte a Scienze
politiche + una parte a medicina)
• Lato ANVUR circa 1564 schede di revisione peer (non
la lettura di referenze bibliografiche come nella
valutazione del nucleo)

11. • Dato l’impegno consistente di personale a qualsiasi
livello e date le ricadute sulle strutture la VQR va
presa molto sul serio.
• E’ importante che ogni Dipartimento rifletta sugli esiti
anche perché avranno ripercussioni a vario livello

12. Dati generali di contesto (pochi prodotti
mancanti o penalizzati)

13. La peer review è stata più severa della bibliometria

14. I dipartimenti sono posizionati rispetto
all’area e al segmento

15. “Unsuitable methods can only lead to debatable
conclusions”
(KNAW 2005)

16. I report dei GEV
Area
%Articoli
%Saggi
+Monografie
Metodo di
valutazione
%Lingua
10 (77 SSD)
26
70
Peer review
17% inglese
12% altre
lingue
11 (34 SSD)
23
72
Peer review+
bibliometria
12% inglese
non bilio
62% inglese
biblio

17. Cosa ci dicono i dati
• In tutte le aree l’articolo su rivista non è la tipologia
maggiormente diffusa
• In tutte le aree la lingua inglese non è la lingua con
cui si comunica
• In tutte le aree i prodotti eccellenti non sono
pubblicati univocamente in riviste di fascia A e quelli
limitati non sono pubblicati univocamente in riviste di
fascia B o C.
• In tutte le aree dove si è effettuata anche una
valutazione bibliometrica la peer review è stata
molto più severa che la bibliometria

18. Cosa ci dicono i report
• Tutti i GEV hanno riscontrato problemi nell’utilizzo
della scheda di valutazione pensata e modellata sulle
scienze dure
•
•
•
a) rilevanza, da intendersi come valore aggiunto per l'avanzamento della
conoscenza nel settore e per la scienza in generale, anche in termini di congruità,
efficacia, tempestività e durata delle ricadute;
b) originalità/innovazione, da intendersi come contributo all'avanzamento di
conoscenze o a nuove acquisizioni nel settore di riferimento;
c) internazionalizzazione, da intendersi come posizionamento nello scenario
internazionale, in termini di rilevanza, competitività, diffusione editoriale e
apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con
ricercatori e gruppi di ricerca di altre nazioni
• Correlazione fra peer review e valutazione
bibliometrica non sempre significativa

19. Il rapporto di area 10
• Inadeguatezza delle voci della griglia, ma anche
dell’utilizzo degli stessi criteri validi per gli articoli
anche per monografie e saggi
• Rating riviste fatto perché dovuto ma senza che se ne
sia tenuto conto infatti spesso non c’è correlazione fra
eccellenza del lavoro e sua collocazione in rivista di
fascia A
• Grosse differenze nella distribuzione delle eccellenze
fra nord e sud ma nella media buon risultato

20. SSD valutati
• Per l’area 10 16 SSD di cui si ha la valutazione su 48
rappresentati in ateneo
• Anche i settori con 1 o 2 docenti sono stati valutati ma
i risultati non sono stati resi pubblici
• Per l’area 11 25 SSD rappresentati in ateneo

21. Il rapporto di Area 11
• Bias della peer review
• Concentrazione nelle fasce centrali dei giudizi più che
in quelle estreme
• Soddisfazione per il rating delle riviste e per la ottima
collaborazione con le società scientifiche
• Buona correlazione tra prodotti eccellenti e loro
collocazione in riviste di fascia A
• Mancanza di rating per storie di altre discipline
sottoposte al GEV

22. Il rapporto di area 11
• Le discipline di Psicologia e Metodi e didattica delle
attività motorie hanno avuto una valutazione
bibliometrica rispettivamente per il 59% e il 78% che
non sono affatto la totalità dei prodotti
• Internazionalizzazione?
• Nonostante dica che non spetta al GEV interpretare i
dati, il rapporto sembra suggerire la via maestra ai
giovani ricercatori

23. Gli indicatori di sintesi
• IRFD indicatore opaco, ottenuto attraverso una media
di 4 modalità proposte per l’aggregazione dei risultati
(appendice D)
• L’indicatore (a detta stessa di ANVUR da utilizzarsi con
cautela) non va utilizzato per comparazioni a meno
che non si abbia la piena consapevolezza di cosa sta
usando
• Il nucleo compara però le proprie classifiche A,B,C,D,
con l’indicatore sintetico

24. Cosa si sta facendo altrove
• Osservatori e Dipartimenti stanno studiando i dati
• Le amministrazioni stanno elaborando criteri di
pesatura dei risultati per la distribuzione dei fondi
• E’ necessario un confronto con le altre strutture per
evitare la autoreferenzialità.

25. La taglia unica non si adatta a nessuno
• Soprattutto per quanto riguarda l’area 11 il rapporto
sembra aderire totalmente al modello dominante.
• Quello elaborato nell’ambito delle scienze dure in cui
gli autori lavorano in gruppo, scrivono in inglese,
pubblicano articoli su riviste internazionali con IF.
• Questo modello non rispecchia la ricerca umanistica

26. Il modello olandese
• Lunga gestazione e frutto di questionari distribuiti a
livello internazionale e di interviste alle comunità
scientifiche nazionali
• Alla ricerca di una definizione di qualità
• Qualità della ricerca – qualità sociale (valorizzazione
della conoscenza)

27. La peer review
• Resta il sistema portante, ma si riconoscono i limiti
• La pressione verso il publish or perish ha condotto ad
un aumento della produzione scientifica
• Aumento del lavoro per i revisori (vedi le rinunce) che
sono soggetti alla stessa pressione
• Il sistema rischia di implodere
• Un aiuto può venire dagli indicatori qualitativi

28. Indicatori qualitativi
• La qualità si misura sulla base di un set di criteri
all’interno dei quali vengono definiti
indicatori specifici

29. Other output *
Other evidence of use *
Other evidence of recogniƟon *
Other societal output *
Other evidence of use *
Other evidence of societal recogniƟon *
Figure 1 Diagram of criteria and indicators
* discipline-­‐speci ic/context-­‐speci ic indicators
A number of aspects of this system and the way in which it should be applied require
explanation. Taking the diagram from left to right:
• In assessing research in the humanities, one can distinguish between scholarly
quality and societal quality. The Committee proposes that peers, if necessary assisted by external experts in the ield of societal quality or societal stakeholders,47
47 For this type of extended peer review, see Section 3; see also the remarks below regarding
the pilot phase of this project.
47

30. Un quadro composito
•
•
•
•
La bibliometria
√
Le liste di riviste √
Le classificazioni di sedi editoriali (collane) √
Un sistema di pesi che attribuisca valori diversi alle
diverse tipologie √
• Mix flessibile e rivedibile con opportuna frequenza che
tenga conto delle specificità delle discipline ed eviti
l’affermarsi di comportamenti adattivi

31. Un quadro composito…
• Alla luce di quanto riportato dai GEV nelle diverse aree
risulta chiaro come per le SSH strumenti, metodi e
indicatori siano ancora tutti da costruire
• Il tema dell’impatto sociale e del trasferimento della
conoscenza diventa fondamentale impact.pot
• Ci sono modelli a cui ispirarsi adattabili alla realtà
italiana
• Ciò può essere fatto solo se si riconosce alle SSH una
propria specificità intesa come multidimensionalità di
espressioni, canali di comunicazione e target .

37. … da poter ricomporre
• Quello che si richiede è la disponibilità di un ampio set
di indicatori entro i quali la scelta va guidata da un
processo che associ gli obiettivi da perseguire nel
percorso valutativo alla qualità e significatività degli
strumenti utilizzati. Ciò deve potersi tradurre in una
specifica attenzione alla disciplina, al contesto e alle
altre dimensioni valutative attraverso un mix flessibile
e rivedibile con opportuna frequenza

38. • Il sistema di ANVUR con tutti i limiti segnalati mette in
relazione la qualità delle pubblicazioni con la media
nazionale.
• Il nucleo sarebbe nella posizione di effettuare una
valutazione in context. Proprio perché ha a
disposizione i microdata è in grado di correlare
personale e pubblicazioni, di spiegare eventuali tassi
di improduttività, di legare input e output. Di pesare
diversamente le tipologie di lavori. Di analizzare
l’efficacia ed efficienza del reclutamento
• Fino ad ora si è applicato il metodo della conta della
pubblicazioni, metodo che mortifica le Scienze umane
non riconoscendone la specificità

39. • E’ necessario avviare una riflessione su questi temi, a
partire dall’incontro di oggi

40. “an effective system is not
simple and a limited system is
not effective” (KNAW 2011)