1. Hodnocení VaVaI a role
IPN Metodika
Jitka Moravcová
Daniel Münich
MŠMT
www.metodika.reformy-msmt.cz
VŠCHT Praha 14.11.2014

2. Osnova presentace
1
1.Význam hodnocení pro řízení
2.IPN Metodika
3.Mezihry: jak by hodnocení také mohlo vypadat
4.Kde jsme dnes
5.Základní atributy navrhovaného hodnocení
6.Harmonogram
7.Institucionální financování

3. 2
Význam hodnocení pro řízení
Stanovení priorit VaV
Řízení lidských zdrojů VaV
Efektivní pořizování a využívání infrastruktur VaV
Správně nastavené motivace ve VaV
Bez kvalitního hodnocení nebude kvalitního řízení

4. 3
Význam hodnocení pro řízení
vláda, RVVI, EU rámec
Poskytovatelé
Výzkumné a další organizace
Pracovníci a infrastruktury VaV
Strategie, financování, ex-post hodnocení
Financování, dohled, strategické řízení
Řízení (včetně lidských zdrojů), motivace
Motivace

5. 4
Hodnocení a národní strategické dokumenty
● Reforma systému VaVaI v ČR (2008, aktualizace)
● Národní politika VaVaI pro roky 2009-2015 (výhled 2020)
● Národní strategie konkurenceschopnosti 2012-2020
● Národní inovační strategie
● Dlouhodobé principy hodnocení VaV, RVVI Cíl: Zavést pravidelné, systematické a objektivní hodnocení VaVaI v ČR na všech úrovních. Mezinárodní audit systému VaVaI v ČR, 2009 - 2011

6. IPN Metodika
5
Kultura hodnocení
(bez hodnocení není kvalitní řízení)
Hodnocení institucí
Hodnocení programů účelové podpory
Hodnocení projektů účelové podpory
Hodnocení velkých infrastruktur VaV
Hodnocení účasti v mezinárodních sítích VaV
Hodnocení jednotlivců
Odstíny červené odlišují míru toho, jak je daný aspekt obsažen v IPN Metodika.

7. IPN Metodika
6
IPN Metodika
Technopolis a spol.
Institucionální hodnocení
Malé pilotní ověření
Institucionální financování
Expertní tým IPN
Velké pilotní ověření
Návrh systému hodnocení velkých infrastruktur VaV
Principy hodnocení programů účelové podpory
Zásady hodnocení zapojení do mezinárodních sítí
Studie proveditelnosti hodnocení organizujícího pracoviště
Osvěta a podpora lidských zdrojů

8. IPN Metodika
7
Individuální projekt národní MŠMT, 2012-2015
●Zavedení evaluačních principů ověřených zahraničních praxí adaptovaných na naše národní podmínky.
●Multikriteriální oborové metodiky hodnocení respektující postavení dané VO v systému VaV.
●Využití dosavadních zkušeností s Metodikou a hodnocením AV ČR.
●Žádný mechanický vztah mezi výsledky hodnocení a výší institucionální podpory.
●Víceleté financování jako kombinace rozpočtu podle předpisu a výkonnostních smluv.
●Účinná spolupráce s RVVI. Otevřená diskuse se všemi aktéry (poskytovatelé!). Jak dosáhnout konsensu?

9. IPN Metodika – klíčové aktivity
8
●KA1 Informační podpora
●KA2 Systém hodnocení
●KA3 Systém financování
●KA4 Velké pilotní ověření
●KA5 Harmonogram pro přechodné období a podklady pro legislativní změny
●KA6 Institucionální zajištění hodnocení
●KA7 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí

10. Kde jsme dnes – mezihra I
9
•Španělské hodnocení, HN 2007
1. UK Praha
2. MU v Brně
3. ČVUT Praha
4. VUT Brno
5. ZU v Plzni
6. VŠE v Praze
7. TU Ostrava
8. Policejní akademie v Praze
9. UP Olomouc
10. JU v Č. Budějovicích
11. TU Liberec
12. ČZU Praha
13. VŠCHT Praha
14. Univerzita Pardubice
15. UTB ve Zlíně
16. MZLU v Brně
17. Slezská univerzita Opava
18. Ostravská univerzita
19. Univerzita Hradec Králové
20. Univerzita JEP Ústí n. L.
Španělský žebříček vs počty studentůy = 46,756x-0,6347R2 = 0,75440510152025303540455005101520umístění počet studentů

11. Kde jsme dnes – mezihra II
10
3
●Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012

12. Kde jsme dnes – mezihra II
11
2
●Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012

13. Kde jsme dnes – mezihra II
12
1
●Jurajda, Münich: Kde se dělá v ČR nejlepší výzkum? Studie CERGE-EI 3/2012

14. Kde jsme dnes – mezihra III
13
●Münich: http://metodikahodnoceni.blogspot.cz/2014/08/jak-jsme-na-tom-chemie.html

15. Kde jsme dnes – mezihra IV (poslední)
14
●Porovnání VVŠ podle bodů v RIV, 2012
●provádí se korekce bodů, která se odvíjí od toho, co vyprodukovaly jiné VŠ,
●průběžně se zvyšuje počet časopisů registrovaných ve Web of Science a Scopusu, což zvyšuje počet přidělených bodů, aniž by musela produkce článků dané školy reálně růst
Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html

16. Kde jsme dnes – mezihra IV (poslední)
15
●Porovnání VVŠ podle bodů v RIV, 2009-2012
●pravidla přidělování a výpočtu bodů dle Metodik se rok od roku měnila (nelze sledovat trend),
Zdroj: http://www.upce.cz/deska/dokumenty/vyr-zpravy.html

17. Kde jsme dnes – Metodika 2013
16
●Pilíř I: Oborové hodnocení publikačních výsledků. Výsledky typu J, B, C a D v RIV + peer-review hodnocení výsledků typu B a C (subpilíř I), relativní podíl oborových panelů na celkovém počtu bodů.
●Pilíř II: Hodnocení kvality. Jeden excelentní výsledek na každých 10 MKč IP, peer-review hodnocení, 20 % v každém oboru dostane zvláštní bonifikaci, projekty ERC.
●Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Body pouze u patentu, projekty aplikovaného výzkumu + smluvní výzkum.

18. Kde jsme dnes - Metodika
17
●Definuje, které výsledky jsou uznatelné, jak se data sbírají a jak se převádějí na body.
●Dává jasný signál: žádný výsledek, žádná institucionální podpora.
●Je účinná proti nepotismu, korupci a lobování (?).
●Slouží pro výpočet institucionálního financování, které je krátkodobé, proto je špatným nástrojem pro dlouhodobé plánování, rozvoj nových oborů…
●Uznává jen minulé výsledky.
●Podporuje fragmentaci vědeckých výsledků.
●Nepodporuje mezioborové týmy.
●Je pouze kvantitativní (kvalitu nahrazuje kvantita).

19. Metodika vs WoS
18
•WoS, heslo „Czech Republic“, 25.1.2014, roztřídění podle instituce

20. Základní atributy navrhovaného hodnocení
19
1.Zohlednění oborových specifik
2.Zohlednění postavení a účel VO v systému VaV
3.Hodnocení inst. jednotek (fakulty a ústavy)
4.Hodnocení výstupů, výsledků, dopadů, řízení, mezinárodního zapojení, využívání infrastruktur
5.Forma peer-review
a.mezinárodní
b.informované
c.formou distanční vs. s návštěvou
d.využívající zkušenosti z realizace Hodnocení 2014 a AV ČR
6.Hodnocení 1x za ~5 let
7.Náklady max. 1 % národní inst. podpory za hodnocené období (srovnejme s dnešními 2,5% inst. podpory VaV dle par. 3, odst. (3), zákona 130/2002)

21. Zamýšlená struktura hodnocení
20 Research Unit 1 Evaluated Unit 1 Research Unit 2 Research Unit 3 Field 1 Field 2 Field 3 Research Unit 1 Evaluated Unit 2 Research Unit 2 Research Unit 3 Field 1 Field 2 Field 3 Research Unit Evaluated Unit Research Unit 1 Research Unit 2 Field Field 1 Field 2 Research organisation Etc … Research organisation Evaluated Unit Research organisation Case 1 Case 2 Case 3

22. Zamýšlená organizace hodnocení
21 Main Panels Panels Referees Main Panel Chairs Main Panel Members Panel Chairs Panel Members Panel Secretariat Specialist advisors - Sciences Specialist advisors - Context Referees Evaluation management team Evaluation management board

23. Zamýšlená hodnotící kritéria
22
Assessment criteria
Indicator categories
Institutional management and development potential
Quality and adequacy of the physical research environment & attractiveness to the scientific community
Research strategy and (HR) management
Membership of the national and global research community
International research presence and collaboration
National research presence and collaboration
Research performance
Research productivity
Research capacity building
Overall research quality
Research excellence
Peak quality of the scholarly outputs
Societal relevance
Value of the research activities for the business & industry sector
Value of the research activities for other societal actors, including government

24. Vazba na současný systém
23
1.Využití dat v IS VaV a zavedeného systému sběru
2.Sledování ukazatelů v období mezi hodnocením
3.Využití zkušeností s fungováním prvků peer review
4.Obdoba využití indikátorů na formula funding v menším rozsahu

25. Harmonogram IPN Metodika
24
1. Průběžná zpráva: návrh hodnocení
•Připomínky exp. týmu IPN (8. – 17.10. 2014)
•Proces veřejné konzultace (6. – 26.11. 2014)
•Veřejná konference (7. 1. 2015)
2. Průběžná zpráva: návrh financování
•Připomínky exp. týmu IPN (19.12. – 6.1. 2015)
•Proces veřejné konzultace (20.1. – 6.2. 2015)
•Veřejná konference (konec února 2015)
Závěrečná zpráva: + malé pilotní ověř.
•Připomínky exp. týmu IPN (19. – 30.3. 2015)
•Proces veřejné konzultace (15. – 29.4. 2015)
•Veřejná konference (květen 2015)
Závěrečná zpráva IPN (podzim 2015)

26. Post IPN harmonogram (předpověď)
25
Příprava hodnocení (2016-2017)
•Legislativa
•Informační nástroje a informace (WoS, IS VaV)
•Hodnocení organizující pracoviště a hodnotitelé
Realizace hodnocení (~2018)
•Sebehodnotící zprávy VO
•Bibliometrické zprávy a další informace
•Práce panelů
Zpracování a využití výsledků (2019-20)
•Syntéza výsledků
•Zpětná vazba pro VO a součásti
•Informace pro strategické řízení na úrovni vlády/RVVI

27. Institucionální financování
26
0
1 000 000
2 000 000
3 000 000
4 000 000
5 000 000
6 000 000
7 000 000
MO
MK
MV
Mze
MZ
MPO
TA ČR
GA ČR
AV ČR
MŠMT
Poskytovatelé podpory
institucionální
účelová
tis. Kč

28. Institucionální financování VVŠ 2013
27
tis. Kč

29. Institucionální financování
28
●Dotace z veřejných prostředků (bez investic a SF)
VaV
Vzdělávání
●zdroj: Výroční zprávy VVŠ o hospodaření 2012

30. Účelové financování
29
●zdroj: Výroční zprávy VVŠ o hospodaření 2012

31. Spolupráce s odběrateli
30
●zdroj: Výroční zprávy VVŠ o hospodaření 2012
●Smluvní výzkum, 2012
●Prodej licencí, 2012
tis. Kč

32. Institucionální financování
31
●Hodnocení a jeho vztah k institucionálnímu financování
●100%
●Žádný
●Něco mezi tím
●V současnosti: 80 a 20 % dle RIV bodů
●MŠMT 100 % podle RIV bodů

33. Návrh institucionální financování
32
●Bude součástí až 2. dílčí zprávy
●Víceleté financování jako kombinace dvou principů:
●rozpočet podle předpisu (formula funding), backward-looking
●výkonností smlouvy (performance based contracts), forward-looking, umožňující směrování rozvoje
●Různé nastavení pro různé segmenty systému VaV
●IPN doporučí poměry financování + pro a proti
●Delší přechodné období s procesem „učení“

34. 33
Děkujeme za spolupráci.
Všechny informace budou na webových stránkách projektu.
Kontaktovat nás můžete kdykoliv.
www.metodika.reformy-msmt.cz