Slides del seminario su Valutazione della ricerca e strategie di produzione scientifica

1. Indicatori bibliometrici e valutazione
della ricerca: uso e abuso
Alberto Baccini (Unisi)
Seminario interdisciplinare su Valutazione della
ricerca e strategie di produzione scientifica
Macerata, 11 maggio 2010

2. Alberto Baccini, Valutare la ricerca scientifica

3. Alberto Baccini, Valutare la ricerca scientifica
La repubblica autonoma della scienza e le esigenze dei
governi
 I meccanismi autonomi di riconoscimento della
qualità della ricerca: priorità, eponimia, citazioni,
premi etc.
 Il lungo periodo della scienza vs. le esigenze di
breve periodo della “società della conoscenza”
 I meccanismi di valutazione della ricerca:
distinguere tra valutazione e uso della valutazione
per le decisioni di politica della ricerca

4. Alberto Baccini, Valutare la ricerca scientifica
Qualità, importanza, impatto
 Per qualità di un contributo scientifico si intende il riconoscimento che la
ricerca è stata ben condotta in riferimento agli standard prevalenti (originalità,
rilevanza, rigore metodologico…) in un certo momento del tempo.
 Un articolo pubblicato su una rivista che usa la peer review è di qualità
 Indicatori bibliometrici di produzione di qualità
 Per impatto si intende il riconoscimento tributato ad contributo scientifico
dalla comunità dei pari attraverso le citazioni in un dato intervallo temporale.
 Un articolo molto citato è un articolo con un elevato impatto nella comuità scientifica
 Indicatori bibliometrici citazionali
 Per importanza di un contributo scientifico si intende la capacità di un
contributo scientifico di influenzare nel lungo periodo le ricerche condotte da
altri, di produrre conoscenza utilizzata da altri nel proprio lavoro, di aprire la
strada a nuove vie per lo sviluppo della scienza
 Ricerca dimenticata e belle addormentate

5. Alberto Baccini, Valutare la ricerca scientifica
La valutazione dei pari (peer review)
 La valutazione condotta dai pari è il peggiore dei modi
per giudicare la qualità della ricerca; il fatto è che non ce
ne sono di migliori
 La contrapposizione tra “revisione diretta dei pari” e
“uso degli indicatori bibliometrici” è fuorviante
 Entrambe le forme di valutazione sono basate sul
giudizio di qualità espresso dai pari (in forma diretta o
indiretta)
 La valutazione basata su indicatori bibliometrici è meno
costosa, ma richiede conoscenze tecniche specifiche

6. Alberto Baccini, Valutare la ricerca scientifica
Livelli di aggregazione della valutazione
1. la produzione scientifica di un ricercatore;
2. gli articoli pubblicati in una rivista o i libri
pubblicati da un editore;
3. la produzione scientifica di un gruppo di ricerca
(dipartimento, facoltà etc.);
4. la produzione scientifica di un intera area
disciplinare, campo di ricerca o disciplina (CIVR);
5. la produzione scientifica di una regione o di una
nazione.

7. Alberto Baccini, Valutare la ricerca scientifica
Ma gli archivi bibliografici e citazionali
contengono tutte le informazioni rilevanti?
 ISI, Scopus, Google Scholar
 Archivi disciplinari (EconLit, PubMed …)
 Non esistono discipline cui per la loro natura speciale non
possano essere applicati indicatori bibliometrici
 Per alcune discipline al momento attuale gli
indicatori bibliometrici sono scarsamente affidabili

8. Alberto Baccini, Valutare la ricerca scientifica
Copertura dei database bibliografici

9. Alberto Baccini, Valutare la ricerca scientifica
Misure della produzione scientifica

10. Alberto Baccini, Valutare la ricerca scientifica
Adeguatezza del grado di copertura

11. Alberto Baccini, Valutare la ricerca scientifica
Le citazioni visibili

12. Alberto Baccini, Valutare la ricerca scientifica
Le citazioni visibili nelle varie discipline

13. Alberto Baccini, Valutare la ricerca scientifica
Guida per il buon uso degli indicatori
1. Per approssimare la multidimensionalità del
giudizio del revisore, è consigliabile l’uso di
“pacchetti di indicatori” (es. n ; c)
2. Le misure bibliometriche vanno sempre lette e
interpretate in riferimento a misure strutturali di
controllo (es. IF)
3. Scegliere accuratamente gli indicatori in relazione
all’oggetto della valutazione (citazioni vs. IF)

14. Alberto Baccini, Valutare la ricerca scientifica
Livelli di aggregazione della valutazione
 Al crescere del livello di aggregazione, aumenta
l’affidabilità dell’indicatore
 Livelli di aggregazione:
1. la produzione scientifica di un ricercatore;
2. gli articoli pubblicati in una rivista o i libri pubblicati da un editore;
3. la produzione scientifica di un gruppo di ricerca (dipartimento, facoltà
etc.);
4. la produzione scientifica di un intera area disciplinare, campo di ricerca o
disciplina (CIVR);
5. la produzione scientifica di una regione o di una nazione.

15. Alberto Baccini, Valutare la ricerca scientifica
Indici di specializzazione

16. Alberto Baccini, Valutare la ricerca scientifica
Regola 1
 Definire chiaramente scopo ed obiettivi della
valutazione, e individuare le misure bibliometriche
di produzione ed impatto più adatte per
raggiungerli
 Evitare l’abuso dell’IF come unica misura per qualsiasi
tipo di valutazione

17. Alberto Baccini, Valutare la ricerca scientifica
Contare le citazioni
esempio di conteggio delle citazioni per prodotto
di ricerca sul database ISI.

18. Alberto Baccini, Valutare la ricerca scientifica
Regola 2
 Dopo aver scelto gli indicatori di performance o
citazionali, definire le misure strutturali di controllo
 Evita l’abuso di presentare misure bibliometriche in
valore assoluto e senza valori comparativi

19. Alberto Baccini, Valutare la ricerca scientifica
Impact Factor (di una rivista)
http://www.topitalianscientists.org/top_italian_scientists.aspx

20. Alberto Baccini, Valutare la ricerca scientifica
Regola 3
 Quando la risoluzione è molto elevata (singolo
ricercatore, singolo prodotto di ricerca) valutare se
affiancare all’uso degli indicatori, la revisione diretta
dei pari
 Evita il frequente abuso di sommare gli IF per valutare
un ricercatore

21. Alberto Baccini, Valutare la ricerca scientifica
H-index

22. Alberto Baccini, Valutare la ricerca scientifica
Scienziati selettivi

23. Alberto Baccini, Valutare la ricerca scientifica
H-interval
L. Pratellli, A. Baccini, L. Barabesi, M. Marchessi, “Statistical analysis of the Hirsch Index”
arXiv:1102.2701v1 [math.ST]

24. Alberto Baccini, Valutare la ricerca scientifica
Regola 4
 Nel caso di valutazioni che riguardano grandi
aggregati, la revisione diretta dei pari è da preferirsi
solo se si ritiene che potersi avvalere di
informazioni ex post migliori la qualità della
valutazione
 Il VQR e le discipline umanistiche
 Il VTR e le discipline al riparo dalla “scienza
internazionale”

25. Alberto Baccini, Valutare la ricerca scientifica
Regola 5
 Ricordare che gli indicatori tendono a scartare i
diamanti rosa
 La revisione dei pari controlla due tipi di rischio
 Errore di Tipo 1. Consiste nel sostenere che un lavoro non è di qualità
quando invece lo è (falso negativo)
 Errore di Tipo 2. Consiste nel sostenere che un lavoro è di qualità
quando invece non lo è (falso positivo)
 La revisione dei pari tende a minimizzare gli errori di Tipo 2, e
quindi a scartare i diamanti rosa
 Misure a favore del pluralismo nella ricerca