SlideShare une entreprise Scribd logo
1  sur  56
Télécharger pour lire hors ligne
INET ID # INO17-00015 is gratefully acknowledged
Valutazione della ricerca, incentivi
basati sulle performance e scienza
aperta
Alberto Baccini
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
La visione comune:
la mano invisibile della
competizione tra gli scienziati
migliora la scienza
La competizione per la priorità
nella scoperta è stata
trasformata nella
competizione per avere
risultati migliori secondo
qualche indicatore
La pubblicazione scientifica serve ad
aggiungere linee al curriculum in vista
dell’assunzione/promozione/tenure
o per essere premiati o finanziati
L’articolo scientifico ha cessato di svolgere la
funzione di «knowledge unit» e si è
trasformato in «accounting unit» per
l’accumulazione di «capitale simbolico»
(Gingras 2018)
La sede pubblicazione (rivista) è più
importante dei contenuti perché
trasmette «prestigio» ad un articolo
indipendentemente dai contenuti
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
I sistemi di valutazione
istituzionale massiva della ricerca
rinforzano gli incentivi
dell’ambiente «publish or perish»
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
La valutazione istituzionale massiva riduce il pluralismo
Hindering interdisciplinarity (McNay 1998; Rafols et. al. 2011)
Suffocation of wider social engagement (Willmott 2011)
Avoiding risk in selecting research topics (Wouters 2015)
Altri effetti documentati dei sistemi di valutazione della ricerca
«The apparent endemicity of bad research behaviour is
alarming … National assessment procedures, such as the
Research Excellence Framework, incentivize bad practices»
National assessment procedures, such as the
Research Excellence Framework, incentivize bad
practices»
Incentivi perversi nell’accademia
“National assessment procedures, such as the Research
Excellence Framework, incentivize bad practices”
«Non esiste, a mio modo di
vedere, una evidenza empirica
robusta sul fatto che la
valutazione o anche i sistemi
di publish or perish, inducano
nel lungo periodo effetti
distorsivi permanenti sulla
ricerca. […] »
(Bonaccorsi, 2015: 170)
«Non esiste, a mio modo di
vedere, una evidenza empirica
robusta sul fatto che la
valutazione o anche i sistemi di
publish or perish, inducano nel
lungo periodo effetti distorsivi
permanenti sulla ricerca. […] »
(Bonaccorsi, 2015: 170)
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
“It is a lab’s almost entire
body of work, and therefore
almost an entire field of
research, put into question.”
Benoit Bruneau, associate director of
cardiovascular research at the Gladstone
Institutes in San Francisco:
https://www.nytimes.com/2018/10/15/hea
lth/piero-anversa-fraud-retractions.html
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Modificare gli articoli per :
1. Incrementare indicatori di produttività
2. Incrementare indicatori citazionali
Giocare con le regole: salami slicing
«Affettare finemente il salame»: un nuovo record
39 papers
Gaming the rules: manipulating authorship
For being an author is sufficient
to be more senior than the
people who did the experiment
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Giocare con le regole in Italia
«All'indomani della VQR nel mio ateneo un direttore di
dipartimento, il cui posizionamento nel settore scientifico era
molto debole, ha scritto ai colleghi di provvedere, in vista della
successiva valutazione, a inserire come co-autori coloro che
risultavano inattivi, cioè con un numero di pubblicazioni inferiore
al richiesto» (Bonaccorsi 2017)
Giocare con le regole in Italia
«Per fare un altro esempio, all'indomani della uscita dei criteri per
l’Abilitazione scientifica ho visto con i miei occhi la tabellina di un
settore concorsuale nella quale veniva fatta la lista dei lavori
sottomessi a rivista o già accettati, con una ripartizione scientifica dei
casi nei quali agli autori (tutti giovani) sarebbe stato chiesto di
aggiungere il nome di un altro prima della pubblicazione finale, il
tutto controllato da un ben organizzato gruppo di professori ordinari.»
(Bonaccorsi 2017)
Giocare con le regole in Italia
2010
MATHEMATICS
I professori ordinari giocano con le regole?
2010
2010
2010
2010
2010
Mathematics
Logic
Accounting
Management
Professor of geometry
Econometrics
2010
Political economy 2010
E i ricercatori giocano con le regole?
#ofarticles
Giocare con le regole: pompare le citazioni
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
en
A new Italian miracle?
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
L'introduzione di incentivi che premiano le metriche
di produzione e citazione (e le revisioni paritarie),
corrompono le norme sociali e i valori che
dovrebbero regolare le interazioni nella scienza.
La priorità nella scoperta cessa di essere l'obiettivo
principale di uno scienziato.
Il nuovo obiettivo è quello di ottenere etichette
appropriate e prestazioni migliori sulle metriche.
Sintesi 1
Le verità provvisorie della scienza emergono dalla
battaglia di idee contrastanti e sono il risultato
dell‘«uso pubblico della ragione».
Nel sistema attuale la verità scientifica definitiva è
garantita da una qualche classifica di scienziati o
riviste.
Nei sistemi istituzionalizzati di valutazione della
ricerca, la verità scientifica definitiva è garantita da
una qualche classifica governativa.
Sintesi 2
I sistemi di valutazione della ricerca mettono a rischio
la libertà della scienza.
I governi possono orientare la scienza nella direzione
desiderata progettando adeguatamente la valutazione
della ricerca.
Ad esempio, una politica economica «mainstream»
può essere consolidata con appropriati sistemi di
valutazione che classifichino le riviste «mainstream»
nelle posizioni di vertice.
Sintesi 3
Accesso aperto e scienza
aperta sono la soluzione?
O sono del tutto
«compatibili» con l’attuale
sistema?
Problems of replication failure, growing retractions and wonky
statistics have motivated the proponents of open science to
suggest that it is the very institution of the scientific journal that is
irremediably rotten, and that a completely different approch is
warranted. Here the reformist stance has almost imperceptibly
shaded over into an economic reformation [into] different
business models covering not only publication but the peer review
process as well. (Mirowski 2018)
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
Valutazione della ricerca, incentivi basati sulla performance e scienza aperta
La scienza aperta/accesso aperto senza modificazione delle
condizioni istituzionali in cui si svolge la ricerca è destinata a
piegarsi alle regole del publish or perish e/o della
valutazione istituzionale.
Per disporre di «buoni consigli» per le politiche c’è bisogno
di «buona scienza». Ma la «buona scienza» è danneggiata
dai sistemi di valutazione della ricerca. I «buoni consigli» non
nascono dalla battaglia per ottenere etichette o conquistare
un posto in una rivista ad elevato IF.
Una (non proprio) modesta proposta per le
politiche della ricerca
1. Ridurre al minimo l'impatto dei sistemi di valutazione della
ricerca sulla scienza. Cioè: invertire la direzione degli ultimi
trent'anni di politiche della ricerca
2. Eliminare i sistemi di valutazione istituzionale massiva della
ricerca. (Almeno disaccoppiarli dal meccanismo di
finanziamento automatico).
3. Considerare seriamente la crescente pressione dal basso
scienza per sostituire l’«eccellenza» con la «scienza sana»
4. Considerare seriamente proposte innovative per il
finanziamento della ricerca al fine di promuovere il pluralismo
(ad esempio, finanziamenti casuali)
Una non proprio modesta proposta
Chi oppone all’ideologia dell’eccellenza l’onore del proprio
lavoro usi gli interstizi che rimangono nell’università iper-
organizzata dal big business e dal big government per creare
zone di resistenza e gettare – o conservare – il seme di
un’università pubblica fondata sul dialogo e sulla solidarietà.
Charte de la désexcellence , adattamento di Maria Chiara Pievatolo,
https://www.roars.it/online/un-antidoto-al-feticismo-delleccellenza-la-carta-per-
lineccellenza/
Nel frattempo

Contenu connexe

Similaire à Valutazione della ricerca, incentivi basati sulla performance e scienza aperta

La dignità della docenza e la valutazione della ricerca
La dignità della docenza e la valutazione della ricerca La dignità della docenza e la valutazione della ricerca
La dignità della docenza e la valutazione della ricerca Alberto Baccini
 
Altmetrics, una reale alternativa per la valutazione della ricerca?
Altmetrics, una reale alternativa per la valutazione della ricerca?Altmetrics, una reale alternativa per la valutazione della ricerca?
Altmetrics, una reale alternativa per la valutazione della ricerca?Annarita Barbaro
 
Come e perché ridisegnare il sistema di valutazione italiano
Come e perché ridisegnare il sistema di valutazione italianoCome e perché ridisegnare il sistema di valutazione italiano
Come e perché ridisegnare il sistema di valutazione italianoAlberto Baccini
 
Sistemi di valutazione della produzione scientifica e cattive pratiche accade...
Sistemi di valutazione della produzione scientifica e cattive pratiche accade...Sistemi di valutazione della produzione scientifica e cattive pratiche accade...
Sistemi di valutazione della produzione scientifica e cattive pratiche accade...Alberto Baccini
 
Valutare la ricerca scientifica
Valutare la ricerca scientificaValutare la ricerca scientifica
Valutare la ricerca scientificaAlberto Baccini
 
Presentazione unicatt mi 1
Presentazione unicatt mi 1Presentazione unicatt mi 1
Presentazione unicatt mi 1Alberto Baccini
 
Open Science - overview part 1: scholarly communication today
Open Science - overview part 1: scholarly communication todayOpen Science - overview part 1: scholarly communication today
Open Science - overview part 1: scholarly communication todayElena Giglia
 
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appuntiLa valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appuntiGiuseppe De Nicolao
 
R.Fraboni, A.Pallara, M.Scanu, C.Vicarelli, La ricerca tematica e metodologic...
R.Fraboni, A.Pallara, M.Scanu, C.Vicarelli, La ricerca tematica e metodologic...R.Fraboni, A.Pallara, M.Scanu, C.Vicarelli, La ricerca tematica e metodologic...
R.Fraboni, A.Pallara, M.Scanu, C.Vicarelli, La ricerca tematica e metodologic...Istituto nazionale di statistica
 
Presentazione roma 3
Presentazione roma 3Presentazione roma 3
Presentazione roma 3PaolaG
 
Campese Gruppo 2003 Insieme Per La Ricerca Milano 21 Settembre
Campese Gruppo 2003 Insieme Per La Ricerca  Milano 21 SettembreCampese Gruppo 2003 Insieme Per La Ricerca  Milano 21 Settembre
Campese Gruppo 2003 Insieme Per La Ricerca Milano 21 SettembreScienzainrete
 
Scienza in pubblico: integrità della ricerca e cattive condotte
Scienza in pubblico: integrità della ricerca e cattive condotteScienza in pubblico: integrità della ricerca e cattive condotte
Scienza in pubblico: integrità della ricerca e cattive condotteILARIA AMPOLLINI
 
La valutazione ed i suoi oppositori
La valutazione ed i suoi oppositoriLa valutazione ed i suoi oppositori
La valutazione ed i suoi oppositoriAlberto Baccini
 
Paolo Valente per RN dei ricercatori INFN
Paolo Valente per RN dei ricercatori INFNPaolo Valente per RN dei ricercatori INFN
Paolo Valente per RN dei ricercatori INFNPaolo Valente
 
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologiaI misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologiaGiuseppe De Nicolao
 

Similaire à Valutazione della ricerca, incentivi basati sulla performance e scienza aperta (20)

La dignità della docenza e la valutazione della ricerca
La dignità della docenza e la valutazione della ricerca La dignità della docenza e la valutazione della ricerca
La dignità della docenza e la valutazione della ricerca
 
Altmetrics, una reale alternativa per la valutazione della ricerca?
Altmetrics, una reale alternativa per la valutazione della ricerca?Altmetrics, una reale alternativa per la valutazione della ricerca?
Altmetrics, una reale alternativa per la valutazione della ricerca?
 
Come e perché ridisegnare il sistema di valutazione italiano
Come e perché ridisegnare il sistema di valutazione italianoCome e perché ridisegnare il sistema di valutazione italiano
Come e perché ridisegnare il sistema di valutazione italiano
 
Oltre la VQR
Oltre la VQROltre la VQR
Oltre la VQR
 
Sistemi di valutazione della produzione scientifica e cattive pratiche accade...
Sistemi di valutazione della produzione scientifica e cattive pratiche accade...Sistemi di valutazione della produzione scientifica e cattive pratiche accade...
Sistemi di valutazione della produzione scientifica e cattive pratiche accade...
 
Valutare la ricerca scientifica
Valutare la ricerca scientificaValutare la ricerca scientifica
Valutare la ricerca scientifica
 
Presentazione unicatt mi 1
Presentazione unicatt mi 1Presentazione unicatt mi 1
Presentazione unicatt mi 1
 
Analisi delle pubblicazioni scientifiche nella Regione Puglia
Analisi delle pubblicazioni scientifiche nella Regione PugliaAnalisi delle pubblicazioni scientifiche nella Regione Puglia
Analisi delle pubblicazioni scientifiche nella Regione Puglia
 
Presentazione unive
Presentazione univePresentazione unive
Presentazione unive
 
Open Science - overview part 1: scholarly communication today
Open Science - overview part 1: scholarly communication todayOpen Science - overview part 1: scholarly communication today
Open Science - overview part 1: scholarly communication today
 
Perugia
PerugiaPerugia
Perugia
 
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appuntiLa valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
 
R.Fraboni, A.Pallara, M.Scanu, C.Vicarelli, La ricerca tematica e metodologic...
R.Fraboni, A.Pallara, M.Scanu, C.Vicarelli, La ricerca tematica e metodologic...R.Fraboni, A.Pallara, M.Scanu, C.Vicarelli, La ricerca tematica e metodologic...
R.Fraboni, A.Pallara, M.Scanu, C.Vicarelli, La ricerca tematica e metodologic...
 
Presentazione roma 3
Presentazione roma 3Presentazione roma 3
Presentazione roma 3
 
Campese Gruppo 2003 Insieme Per La Ricerca Milano 21 Settembre
Campese Gruppo 2003 Insieme Per La Ricerca  Milano 21 SettembreCampese Gruppo 2003 Insieme Per La Ricerca  Milano 21 Settembre
Campese Gruppo 2003 Insieme Per La Ricerca Milano 21 Settembre
 
Scienza in pubblico: integrità della ricerca e cattive condotte
Scienza in pubblico: integrità della ricerca e cattive condotteScienza in pubblico: integrità della ricerca e cattive condotte
Scienza in pubblico: integrità della ricerca e cattive condotte
 
La valutazione ed i suoi oppositori
La valutazione ed i suoi oppositoriLa valutazione ed i suoi oppositori
La valutazione ed i suoi oppositori
 
Paolo Valente per RN dei ricercatori INFN
Paolo Valente per RN dei ricercatori INFNPaolo Valente per RN dei ricercatori INFN
Paolo Valente per RN dei ricercatori INFN
 
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologiaI misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia
 
Organizzazione aziendale
Organizzazione aziendaleOrganizzazione aziendale
Organizzazione aziendale
 

Plus de Alberto Baccini

15_anni_di_politiche_per_la_ricerca_2023_short.pptx
15_anni_di_politiche_per_la_ricerca_2023_short.pptx15_anni_di_politiche_per_la_ricerca_2023_short.pptx
15_anni_di_politiche_per_la_ricerca_2023_short.pptxAlberto Baccini
 
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Alberto Baccini
 
Research evaluation systems and the percolation of bad science
Research evaluation systems and the percolation of bad science Research evaluation systems and the percolation of bad science
Research evaluation systems and the percolation of bad science Alberto Baccini
 
A che serve l'universita
A che serve l'universitaA che serve l'universita
A che serve l'universitaAlberto Baccini
 
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Alberto Baccini
 
#stopvqr. ANVUR: il cattivo disegno dell'agenzia italiana di valutazione. Rom...
#stopvqr. ANVUR: il cattivo disegno dell'agenzia italiana di valutazione. Rom...#stopvqr. ANVUR: il cattivo disegno dell'agenzia italiana di valutazione. Rom...
#stopvqr. ANVUR: il cattivo disegno dell'agenzia italiana di valutazione. Rom...Alberto Baccini
 
La valutazione della ricerca scientifica in un paese latecomer: una vera mode...
La valutazione della ricerca scientifica in un paese latecomer: una vera mode...La valutazione della ricerca scientifica in un paese latecomer: una vera mode...
La valutazione della ricerca scientifica in un paese latecomer: una vera mode...Alberto Baccini
 
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...Alberto Baccini
 
Notte ricercatori 2014_baccini
Notte ricercatori 2014_bacciniNotte ricercatori 2014_baccini
Notte ricercatori 2014_bacciniAlberto Baccini
 
L'istruzione: un diritto per tutti. Un commento a Ichino e Terlizzese
L'istruzione: un diritto per tutti. Un commento a Ichino e TerlizzeseL'istruzione: un diritto per tutti. Un commento a Ichino e Terlizzese
L'istruzione: un diritto per tutti. Un commento a Ichino e TerlizzeseAlberto Baccini
 
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...Alberto Baccini
 
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...
BB: Burocrati Bibliometrici.  La via italiana alla valutazione dell'universit...BB: Burocrati Bibliometrici.  La via italiana alla valutazione dell'universit...
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...Alberto Baccini
 
Toulouse_Napoleon et la bibliometrie Italienne
Toulouse_Napoleon et la bibliometrie ItalienneToulouse_Napoleon et la bibliometrie Italienne
Toulouse_Napoleon et la bibliometrie ItalienneAlberto Baccini
 

Plus de Alberto Baccini (15)

15_anni_di_politiche_per_la_ricerca_2023_short.pptx
15_anni_di_politiche_per_la_ricerca_2023_short.pptx15_anni_di_politiche_per_la_ricerca_2023_short.pptx
15_anni_di_politiche_per_la_ricerca_2023_short.pptx
 
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...
Cuocere a bassa temperatura. Dalla scuola della Costituzione alla tecnocrazia...
 
Research evaluation systems and the percolation of bad science
Research evaluation systems and the percolation of bad science Research evaluation systems and the percolation of bad science
Research evaluation systems and the percolation of bad science
 
A che serve l'universita
A che serve l'universitaA che serve l'universita
A che serve l'universita
 
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...
Dati segreti e classifiche pseudoscientifiche: la via italiana alla valutazio...
 
#stopvqr. ANVUR: il cattivo disegno dell'agenzia italiana di valutazione. Rom...
#stopvqr. ANVUR: il cattivo disegno dell'agenzia italiana di valutazione. Rom...#stopvqr. ANVUR: il cattivo disegno dell'agenzia italiana di valutazione. Rom...
#stopvqr. ANVUR: il cattivo disegno dell'agenzia italiana di valutazione. Rom...
 
Verso la prossima VQR
Verso la prossima VQRVerso la prossima VQR
Verso la prossima VQR
 
La valutazione della ricerca scientifica in un paese latecomer: una vera mode...
La valutazione della ricerca scientifica in un paese latecomer: una vera mode...La valutazione della ricerca scientifica in un paese latecomer: una vera mode...
La valutazione della ricerca scientifica in un paese latecomer: una vera mode...
 
Forlì #15now 1
Forlì #15now 1Forlì #15now 1
Forlì #15now 1
 
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...
La valutazione della ricerca di ateneo, i ranking internazionali e le graduat...
 
Notte ricercatori 2014_baccini
Notte ricercatori 2014_bacciniNotte ricercatori 2014_baccini
Notte ricercatori 2014_baccini
 
L'istruzione: un diritto per tutti. Un commento a Ichino e Terlizzese
L'istruzione: un diritto per tutti. Un commento a Ichino e TerlizzeseL'istruzione: un diritto per tutti. Un commento a Ichino e Terlizzese
L'istruzione: un diritto per tutti. Un commento a Ichino e Terlizzese
 
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...
La VQR di Area13: una riflessione di sintesi. Le slides presentate alla tavol...
 
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...
BB: Burocrati Bibliometrici.  La via italiana alla valutazione dell'universit...BB: Burocrati Bibliometrici.  La via italiana alla valutazione dell'universit...
BB: Burocrati Bibliometrici. La via italiana alla valutazione dell'universit...
 
Toulouse_Napoleon et la bibliometrie Italienne
Toulouse_Napoleon et la bibliometrie ItalienneToulouse_Napoleon et la bibliometrie Italienne
Toulouse_Napoleon et la bibliometrie Italienne
 

Valutazione della ricerca, incentivi basati sulla performance e scienza aperta

  • 1. INET ID # INO17-00015 is gratefully acknowledged Valutazione della ricerca, incentivi basati sulle performance e scienza aperta Alberto Baccini
  • 4. La visione comune: la mano invisibile della competizione tra gli scienziati migliora la scienza
  • 5. La competizione per la priorità nella scoperta è stata trasformata nella competizione per avere risultati migliori secondo qualche indicatore
  • 6. La pubblicazione scientifica serve ad aggiungere linee al curriculum in vista dell’assunzione/promozione/tenure o per essere premiati o finanziati
  • 7. L’articolo scientifico ha cessato di svolgere la funzione di «knowledge unit» e si è trasformato in «accounting unit» per l’accumulazione di «capitale simbolico» (Gingras 2018)
  • 8. La sede pubblicazione (rivista) è più importante dei contenuti perché trasmette «prestigio» ad un articolo indipendentemente dai contenuti
  • 11. I sistemi di valutazione istituzionale massiva della ricerca rinforzano gli incentivi dell’ambiente «publish or perish»
  • 14. La valutazione istituzionale massiva riduce il pluralismo
  • 15. Hindering interdisciplinarity (McNay 1998; Rafols et. al. 2011) Suffocation of wider social engagement (Willmott 2011) Avoiding risk in selecting research topics (Wouters 2015) Altri effetti documentati dei sistemi di valutazione della ricerca
  • 16. «The apparent endemicity of bad research behaviour is alarming … National assessment procedures, such as the Research Excellence Framework, incentivize bad practices» National assessment procedures, such as the Research Excellence Framework, incentivize bad practices»
  • 17. Incentivi perversi nell’accademia “National assessment procedures, such as the Research Excellence Framework, incentivize bad practices”
  • 18. «Non esiste, a mio modo di vedere, una evidenza empirica robusta sul fatto che la valutazione o anche i sistemi di publish or perish, inducano nel lungo periodo effetti distorsivi permanenti sulla ricerca. […] » (Bonaccorsi, 2015: 170) «Non esiste, a mio modo di vedere, una evidenza empirica robusta sul fatto che la valutazione o anche i sistemi di publish or perish, inducano nel lungo periodo effetti distorsivi permanenti sulla ricerca. […] » (Bonaccorsi, 2015: 170)
  • 23. “It is a lab’s almost entire body of work, and therefore almost an entire field of research, put into question.” Benoit Bruneau, associate director of cardiovascular research at the Gladstone Institutes in San Francisco: https://www.nytimes.com/2018/10/15/hea lth/piero-anversa-fraud-retractions.html
  • 26. Modificare gli articoli per : 1. Incrementare indicatori di produttività 2. Incrementare indicatori citazionali
  • 27. Giocare con le regole: salami slicing
  • 28. «Affettare finemente il salame»: un nuovo record 39 papers
  • 29. Gaming the rules: manipulating authorship For being an author is sufficient to be more senior than the people who did the experiment
  • 31. Giocare con le regole in Italia «All'indomani della VQR nel mio ateneo un direttore di dipartimento, il cui posizionamento nel settore scientifico era molto debole, ha scritto ai colleghi di provvedere, in vista della successiva valutazione, a inserire come co-autori coloro che risultavano inattivi, cioè con un numero di pubblicazioni inferiore al richiesto» (Bonaccorsi 2017)
  • 32. Giocare con le regole in Italia «Per fare un altro esempio, all'indomani della uscita dei criteri per l’Abilitazione scientifica ho visto con i miei occhi la tabellina di un settore concorsuale nella quale veniva fatta la lista dei lavori sottomessi a rivista o già accettati, con una ripartizione scientifica dei casi nei quali agli autori (tutti giovani) sarebbe stato chiesto di aggiungere il nome di un altro prima della pubblicazione finale, il tutto controllato da un ben organizzato gruppo di professori ordinari.» (Bonaccorsi 2017)
  • 33. Giocare con le regole in Italia 2010 MATHEMATICS
  • 34. I professori ordinari giocano con le regole? 2010 2010 2010 2010 2010 Mathematics Logic Accounting Management Professor of geometry Econometrics 2010 Political economy 2010
  • 35. E i ricercatori giocano con le regole? #ofarticles
  • 36. Giocare con le regole: pompare le citazioni
  • 38. en A new Italian miracle?
  • 42. L'introduzione di incentivi che premiano le metriche di produzione e citazione (e le revisioni paritarie), corrompono le norme sociali e i valori che dovrebbero regolare le interazioni nella scienza. La priorità nella scoperta cessa di essere l'obiettivo principale di uno scienziato. Il nuovo obiettivo è quello di ottenere etichette appropriate e prestazioni migliori sulle metriche. Sintesi 1
  • 43. Le verità provvisorie della scienza emergono dalla battaglia di idee contrastanti e sono il risultato dell‘«uso pubblico della ragione». Nel sistema attuale la verità scientifica definitiva è garantita da una qualche classifica di scienziati o riviste. Nei sistemi istituzionalizzati di valutazione della ricerca, la verità scientifica definitiva è garantita da una qualche classifica governativa. Sintesi 2
  • 44. I sistemi di valutazione della ricerca mettono a rischio la libertà della scienza. I governi possono orientare la scienza nella direzione desiderata progettando adeguatamente la valutazione della ricerca. Ad esempio, una politica economica «mainstream» può essere consolidata con appropriati sistemi di valutazione che classifichino le riviste «mainstream» nelle posizioni di vertice. Sintesi 3
  • 45. Accesso aperto e scienza aperta sono la soluzione? O sono del tutto «compatibili» con l’attuale sistema?
  • 46. Problems of replication failure, growing retractions and wonky statistics have motivated the proponents of open science to suggest that it is the very institution of the scientific journal that is irremediably rotten, and that a completely different approch is warranted. Here the reformist stance has almost imperceptibly shaded over into an economic reformation [into] different business models covering not only publication but the peer review process as well. (Mirowski 2018)
  • 54. La scienza aperta/accesso aperto senza modificazione delle condizioni istituzionali in cui si svolge la ricerca è destinata a piegarsi alle regole del publish or perish e/o della valutazione istituzionale. Per disporre di «buoni consigli» per le politiche c’è bisogno di «buona scienza». Ma la «buona scienza» è danneggiata dai sistemi di valutazione della ricerca. I «buoni consigli» non nascono dalla battaglia per ottenere etichette o conquistare un posto in una rivista ad elevato IF. Una (non proprio) modesta proposta per le politiche della ricerca
  • 55. 1. Ridurre al minimo l'impatto dei sistemi di valutazione della ricerca sulla scienza. Cioè: invertire la direzione degli ultimi trent'anni di politiche della ricerca 2. Eliminare i sistemi di valutazione istituzionale massiva della ricerca. (Almeno disaccoppiarli dal meccanismo di finanziamento automatico). 3. Considerare seriamente la crescente pressione dal basso scienza per sostituire l’«eccellenza» con la «scienza sana» 4. Considerare seriamente proposte innovative per il finanziamento della ricerca al fine di promuovere il pluralismo (ad esempio, finanziamenti casuali) Una non proprio modesta proposta
  • 56. Chi oppone all’ideologia dell’eccellenza l’onore del proprio lavoro usi gli interstizi che rimangono nell’università iper- organizzata dal big business e dal big government per creare zone di resistenza e gettare – o conservare – il seme di un’università pubblica fondata sul dialogo e sulla solidarietà. Charte de la désexcellence , adattamento di Maria Chiara Pievatolo, https://www.roars.it/online/un-antidoto-al-feticismo-delleccellenza-la-carta-per- lineccellenza/ Nel frattempo