Závěrečná zpráva 1 je v první ze Závěrečných zpráv studie navrhující Metodiku hodnocení a zásady institucionálního financování výzkumu a vývoje (VaV) v České republice. Metodika hodnocení (MH), která je navržena v této zprávě, definuje klíčové principy budoucí Metodiky hodnocení a stanovuje její základní součásti. + http://metodika.reformy-msmt.cz/hodnoceni-vyzkumnych-organizaci

1. 1 Závěrečná zpráva 1
Metodika komplexního hodnocení kvality /VŠ
Hodnocení výzkumných
organizací
Závěrečná zpráva 1
Bea Mahieu, Erik Arnold – Technopolis Group
Souhrnná
zpráva
Závěrečná
zpráva
1
Závěrečná
zpráva
2
Závěrečná
zpráva
3

2. Závěrečná
zpráva
1
Souhrnná
zpráva
Závěrečná
zpráva
2
Závěrečná
zpráva
3
Závěrečná zpráva 1 „Hodnocení výzkumných organizací“
je součástí studie „Metodika hodnocení ve výzkumu a vývoji
a zásady financování“:
Souhrnná zpráva (Summary Report) shrnuje výsledky práce
provedené v rámci studie navrhující novou Metodiku hodnoce-
ní ve VaV a zásady institucionálního financování. V principu je
synté­zou Závěrečných zpráv 1–3 (Final Reports) a je podložena
závěry deseti Podkladových zpráv (Background Reports).
Závěrečná zpráva 1: Hodnocení výzkumných organizací (Final
Report 1: The R&D Evaluation Methodology) definuje klíčové
principy budoucí Metodiky hodnocení a stanovuje její základní
součásti.
Závěrečná zpráva 2: Zásady institucionálního financování
(Final Report 2: The Institutional Funding Principles) popisuje
nové zásady pro institucionální financování výzkumných organi-
zací (VO).
Závěrečná zpráva 3: Malé pilotní hodnocení a využití
IS VaVaI jako nástroje při hodnocení (Final Report 3: The Small
Pilot Evaluation and the Use of the RD&I Information System for
Evaluation) se věnuje výsledkům dvou různých analýz – Malému
pilotnímu hodnocení a využití Informačního systému výzkumu,
experimentálního vývoje a inovací.

3. Závěrečná zpráva 1 studie „Metodika hodnocení ve výzkumu a vývoji a zásady financování“
byla zpracována společností Technopolis Group ve spolupráci s Technologickým centrem
Akademie věd ČR, InfoScience Praha a NIFU (Nordic Institute for Studies in Innovation,
Research and Education) v rámci Individuálního projektu národního „Efektivní systém
hodnocení a financování výzkumu, vývoje a inovací – CZ.1.07/4.1.00/33.0003 (dále jen
IPN Metodika)“. Projekt byl realizován Ministerstvem školství, mládeže a tělovýchovy (dále
jen MŠMT) od 1. 2. 2012 do 31. 10. 2015 a financován prostřednictvím Operačního progra-
mu Vzdělávání pro konkurenceschopnost z Evropského sociálního fondu a státního rozpoč-
tu České republiky.
Přeloženo z anglického originálu „R&D Evaluation Methodology and Funding Principles,
Final Report 1: The R&D Evaluation Methodology“.

4. Obsah
Shrnutí 6
1 Úvod 11
1.1 Proces návrhu metodiky hodnocení 11
1.2 Metodika hodnocení 12
1.3 Struktura zprávy 12
2 Prostředí pro metodiku hodnocení 13
2.1 Metodika hodnocení v České republice 13
2.1.1 Historický vývoj 13
2.1.2 Nedávný vývoj 14
2.2 Systém VaV 14
2.2.1 Řízení systému VaV 14
2.2.2 Základna VaV 16
2.2.3 Oborové zaměření výzkumu 19
2.3 Cíle politiky této studie 21
3 Koncepty a základní prvky hodnocení v mezinárodní praxi 23
3.1 Úloha hodnocení 23
3.2 Rozsah hodnocení 26
3.2.1 Hodnocení na národní versus institucionální úrovni 26
3.2.2 Typologie výzkumných organizací 26
3.2.3 Použití hraničních hodnot 29
3.3 Způsob hodnocení 29
3.3.1 Peer review 29
3.3.2 Použití bibliometrických údajů 30
3.3.3 Informované peer review 32
3.4 Struktura a úroveň analýzy 32
3.4.1 Hodnocená jednotka 32
3.4.2 Zapojení jednotlivých pracovníků 33
3.5 Zaměření hodnocení: vědní obory 34
3.5.1 Způsoby spolupráce 34
3.5.2 Publikační a citační praktiky 35
3.5.3 Společenská poslání 39
3.5.4 Implikace pro hodnocení 40
3.5.5 Uchopení interdisciplinárního výzkumu 41
3.6 Ukazatele a hodnoticí kritéria 42
3.6.1 Úvod 42
3.6.2 Ukazatelé vstupu a výstupu 44
3.6.3 Systémové a procesní indikátory 47
3.6.4 Indikátory dopadu 49
3.6.5 Hodnoticí kritéria 49
3.6.6 Rizika a řízení rizik 51
3.7 Realizace hodnocení prostřednictvím expertních panelů 53

5. 4 Navrhovaná metodika hodnocení 55
4.1 Klíčové principy 55
4.2 Struktura hodnocení 56
4.3 Rozsah hodnocení 57
4.3.1 Typologie výzkumných organizací 57
4.3.2 Používání hraničních hodnot 59
4.4 Metodika hodnocení 60
4.5 Hodnoticí kritéria 61
4.5.1 Kontext pro hodnoticí kritéria: cíle politiky 61
4.5.2 Hodnoticí kritéria podrobně 62
4.6 Ukazatelé sběru dat 69
4.6.1 Kombinace kvalitativních & kvantitativních dat umožňující triangulaci 69
4.6.2 Výzkumníci na plný úvazek 71
4.6.3 Výstupy výzkumu: způsobilost a jiná pravidla 72
4.7 Zdroje dat pro hodnocení 73
4.7.1 Data poskytovaná hodnocenými výzkumnými jednotkami 73
4.7.2 Bibliometrické ukazatele 74
4.7.3 Použití národního Informačního systému VaVaI 77
4.8 Odlišnosti, které je nutné zohlednit 77
4.8.1 Kultura oborů a poslání výzkumných organizací 77
4.8.2 Interdisciplinární výzkum 78
4.9 Výsledky hodnocení 78
5 Implementace Národního hodnocení výzkumných organizací (NERO) 81
5.1 Hodnoticí panely a posuzovatelé 81
5.1.1 Struktura hodnoticích panelů 81
5.1.2 Obsazování panelů 82
5.1.3 Role a úkoly panelů 83
5.1.4 Pracovní metody 84
5.2 Správa a řízení hodnocení 85
5.2.1 Struktura správy a řízení hodnocení 85
5.2.2 Role a úkoly Řídicího týmu hodnocení 86
5.3 Rizika a řízení rizik 90
5.3.1 Integrita procesu hodnocení panelů 90
5.3.2 Kontroly a ověřování 91
5.4 Scénáře implementace metodiky hodnocení 91
5.4.1 Implementace hodnocení ve skupinách typů VO nebo oborů 92
5.4.2 Zvýšení specifického rozměru typů VO 92
Dodatek 94
Seznam zkratek 96
Seznam obrázků a tabulek 98

6. 6 Závěrečná zpráva 1
Shrnutí
Tato zpráva je jednou ze tří Závěrečných zpráv studie navrhující metodiku hodnocení a zásady institucionálního financování výzku-
mu a vývoje (VaV) a popisuje metodiku hodnocení pro Národní hodnocení výzkumných organizací (NERO) v České republice.
Hodnocení představuje klíčovou složku cyklu tvorby a implementace politik VaV. Aby byl systém hodnocení účinný a mohl dosaho-
vat požadovaných výsledků, všechny zainteresované subjekty mu musí dobře rozumět a důvěřovat a hodnoticí postupy musí být
postavené na konsensu. Proto je návrh metodiky hodnocení této studie považován za první krok dlouhodobějšího procesu, který je
založený na konzultaci se všemi zúčastněnými aktéry a na konečném rozhodování v rámci politiky VaV. Metodika hodnocení, kterou
navrhujeme, dává základ novému systému hodnocení a financování výzkumu a poskytuje konkrétní model pro jeho implementaci.
Ten je založený na důkladné analýze mezinárodních zkušeností a bere v potaz uplatnitelnost metod a nástrojů v kontextu systému
VaV v ČR.
Cílem této studie je navrhnout metodiku hodnocení VaV s výraznou formativní funkcí, která by všem zúčastněným na všech úrovních
systému VaV poskytovala strategické informace a zároveň by poskytovala informace pro výkonnostní systém financování (PRFS).
Systém by měl zahrnovat všechny výzkumné organizace (VO) a zohledňovat rozdíly mezi druhy výzkumných organizací a vědními
disciplínami.
Výzkumná komunita v České republice je složená z výzkumníků zaměstnaných na univerzitách, ve veřejných výzkumných institu-
cích (včetně těch, které jsou seskupeny v rámci Akademie věd ČR, a „sektorových“ veřejných výzkumných institucí), v soukromých
výzkumných institucích a v průmyslu. Klíčovými aktéry ve veřejném výzkumu jsou veřejné vysoké školy a ústavy Akademie věd ČR.
Pouze organizace uznané jako výzkumné organizace (VO) mají nárok na získání institucionální podpory VaV.
Koncepce a přístupy k hodnocení užívané v zahraničí, které jsou zvláště relevantní pro tuto studii:
• Hodnocení je integrální součástí cyklu tvorby a implementace politik. Národní politika VaV je proto zásadním faktorem, který
má vliv na návrh národní metodiky hodnocení.
• Hodnocení na národní úrovni (rovněž) pokrývá výsledky výzkumných organizací a jejich management. Nicméně hodnocení
nejde tak do hloubky jako v případě hodnocení prováděných na úrovni výzkumných organizací a jeho zaměření je determi-
nováno potřebami strategických informací na národní úrovni a podle účelu hodnocení, např. informovat výkonnostní systém
financování (PRFS).
• Hodnocení by mělo zohledňovat rozdíly mezi výzkumnými organizacemi z hlediska jejich mise („poslání ve společnosti“).
Z tohoto důvodu je potřeba kategorizovat výzkumné organizace podle jejich funkcí v národním inovačním systému.
• Analýzy bibliometrických a statistických dat musí splňovat minimální počty údajů, aby byla zajištěna robustnost výsledků.
Vzhledem k fragmentaci v českém systému to znamená potřebu stanovení minimálních hodnot pro účast na hodnocení (niko-
liv pro získávání institucionálního financování).
• Informované peer review, tj. kombinované využití expertních panelů a bibliometrických údajů, je běžnou nejlepší praxí.
• Peer review má své nedostatky a rizika, ale ty lze překonat použitím bibliometrických údajů v kombinaci s konkrétními roz-
hodnutími a strukturálními opatřeními.
• K hodnocení jsou předkládány výsledky výzkumu výzkumných skupin nebo oddělení, nikoliv jednotlivých výzkumníků, což
omezuje vznik nezanedbatelných negativních dopadů na kariérní vyhlídky, „pracovní trh“ a celý systém VaV.
• Existují výrazné rozdíly mezi vědeckými obory a dokonce podobory. Jsou vyjádřeny druhy výstupů, hlavními druhy publikací,
informačními kanály a odlišnou dobou publikování a využití výsledků, citačními zvyklostmi, jazykem publikací, způsobem
a potřebou spolupráce, intenzitou využití a náročnosti na (lidské a finanční) zdroje a výzkumných infrastruktur a v neposlední
řadě také společenským posláním a způsobem tvorby a přenosu znalostí.
• Oborové panely mají nejlepší schopnost posuzovat oborová specifika v průběhu hodnocení. Posuzování napříč obory však
musí být konzistentní a mělo by být umožněno pouze omezené množství úprav mezi obory.
• Mezioborový výzkum představuje obtížný úkol pro jakoukoliv metodu hodnocení, i když menší potíže vyvstávají v případě
peer review.

7. Závěrečná zpráva 1 7
• Indikátory a kritéria hodnocení výkonnosti výzkumu (výsledky) úzce souvisí s teorií znalostí. Znalosti (jak kodifikované, tak nevy-
slovené) jsou hlavním výstupem vědy a výzkumu, a tedy představují jejich největší hodnotu – pro výzkum, průmysl i společnost.
• Systém hodnocení, který se snaží pochopit výkonnost výzkumu v širším smyslu, tj. nikoliv omezený na rozsah a vědeckou
kvalitu výzkumných výstupů, se zaměřuje na intenzitu mechanismů pro přenos znalostí. Mechanismy pro přenos znalostí se
rozumí cesty k dosažení dopadu, tj. takové aspekty, které jsou rozhodující pro tvorbu dopadů.
• Základním konceptem hodnocení je, že indikátory by měly pokrývat různé následné součásti intervencí politik, tj. vstupy (fi-
nanční a lidské zdroje) pro implementaci činností, od kterých se očekává, že povedou k dosažení výstupů, výsledků a dopadů.
• V mezinárodní praxi, včetně v PRFS založeném na indikátorech, panuje zřejmý trend, který rozšiřuje zaměření (pouze) z vý-
stupů na výsledky, v některých případech dokonce na dopady.
• Nejvhodnější a nejúčinnější způsob, jak se vyhnout nezamýšleným důsledkům, které mohou některé indikátory způsobit,
zejména v PRFS (účelové ovlivňování výsledků – gaming), je současné využití kombinace kvantitativních a kvalitativních
indikátorů k posouzení daného kritéria hodnotiteli (peers).
• Národní hodnocení je nákladné, čím sofistikovanější, tím je dražší a zároveň má nižší poměr cena/výkon.
Metodika hodnocení, kterou navrhujeme, se vyznačuje následujícími klíčovými principy a charakteristikami:
Rozsah hodnocení
Do hodnocení patří výzkumné organizace v České republice, tj. organizace, které provádí výzkum a které za výzkumné organizace
považuje RVVI. Podle současných pravidel to znamená, že mají nárok na institucionální financování výzkumu.
Mezi výzkumné organizace patří celá škála různých organizací. Pro účely hodnocení jsou rozděleny do čtyř kategorií podle jejich
poslání ve společnosti:
Vědecko-výzkumné organizace (ScRO), mezi které patří instituceAkademie věd, (státní a soukromé) vysokoškolské instituce, fakult-
ní nemocnice a výzkumné infrastruktury
• Výzkumné organizace průmyslu a obchodních služeb (IBRO)
• Výzkumné organizace veřejných služeb (PSRO)
• Národní zdroje (NatRes)
Všechny výzkumné organizace dosahující minimální velikosti se mohou hodnocení dobrovolně zúčastnit. Prahovým kritériem
ve smyslu minimálního množství výzkumných výstupů je padesát vědeckých výzkumných výstupů za období hodnocení.
Cíl hodnocení
Hlavním cílem hodnocení je vyšší úroveň výzkumu a výzkumného managementu v České republice.
Hodnocení má dvě hlavní funkce:
• Sběr strategických informací o výsledcích výzkumu a vývoje (VaV) v České republice a hodnotě aktivit VaV, výstupů a závěrů
ve smyslu výzkumu, ale také společnosti. Zamýšlenými příjemci těchto informací jsou tvůrci národní politiky, včetně orgánů
financování výzkumu (tj. ministerstva a Akademie věd) a institucionální management.
• Informované rozdělování institucionálních financí na výzkum. Závěry hodnocení budou vodítkem pro rozdělování prostředků,
které jsou určeny komponentu výkonnostního systému financování v rámci systému institucionálního financování výzkumu
(předpokladem je, že v prvním stupni se bude jednat o 15 % z celkového institucionálního financování).
Celkový přístup k hodnocení
Aby bylo dosaženo výše uvedených cílů, obsahuje systém hodnocení sebehodnocení a hodnocení mezinárodními panely. Vstup
pro hodnocení odbornými panely není pouze soubor dat a informací předložených zúčastněnými výzkumnými organizacemi, ale

8. 8 Závěrečná zpráva 1
v neposlední řadě také sebereflexe výkonu účastníků. Finálním výsledkem systému hodnocení nebude pouze vyhodnocení výkonu
v minulosti, ale bude obsahovat i výhledovou složku, která bude vyplývat jak ze sebehodnocení, tak evaluace provedené meziná-
rodním panelem.
Hodnocení bude posuzovat úlohu, pozici a konkurenceschopnost hodnocených subjektů v národním systému inovací a VaV a také
na mezinárodním poli VaV. S rostoucí internacionalizací výzkumu, kdy konkurence i spolupráce ve výzkumu probíhají na globální
úrovni, je porozumění pozice aktérů VaV v České republice ve vztahu k mezinárodní úrovni rozhodujícím faktorem při hodnocení.
Proto hodnocení přijalo jako primární jednotku analýzy prvky, které celosvětově vytvářejí základní strukturu výzkumu, tj. vědecké
obory.
Struktura hodnocení
Hodnocení se uskuteční na úrovni hodnocené jednotky (HJ), tj. výzkumné organizace, veřejné vysokoškolské instituce, nebo orga-
nizační jednotky na druhé úrovni organizační struktury (fakulty, instituty, centra atd.).
Všechny výzkumné organizace a hodnocené jednotky se mohou dobrovolně zúčastnit, pokud splňují dané minimální množství vý-
stupů. Prahovým kritériem ve smyslu minimálního množství výzkumných výstupů je padesát oprávněných vědeckých výzkumných
výstupů za období hodnocení.
Každá způsobilá hodnocená jednotka má možnost registrace jedné či více výzkumných jednotek (VJ) k účasti při hodnocení. Vý-
zkumná jednotka je registrována pro daný obor výzkumu a HJ mohou registrovat pouze jednu výzkumnou jednotku pro daný obor.
Prahovým kritériem ve smyslu registrace výzkumné jednotky je padesát oprávněných vědeckých výzkumných výstupů za období
hodnocení.
Výzkumnou jednotkou se rozumí skupina či skupiny zaměstnanců hodnocené jednotky, které vykonávají svůj primární výzkum
ve specifickém oboru, respektive struktuře a prostředí, které podporují jejich výzkum a jeho aplikaci či dopad. Součástí výzkumné
jednotky můžou být výzkumní pracovníci, kteří pracují ve více odděleních nebo jiných organizačních jednotkách v rámci hodnocené
jednotky. Každý výzkumník může být přiřazen pouze k jedné výzkumné jednotce v rámci hodnocené jednotky.
Metoda hodnocení
Hodnocení je proces informovaného peer review.
Mezinárodní odborné panely na úrovni vědeckých oborů jsou jádrem metodiky hodnocení. Zčásti budou fungovat distančně a budou
využívat sadu příslušných kvantitativních a kvalitativních údajů, kterými budou podpírat své profesionální úsudky. Tyto informa-
ce budou založené na mezinárodních bibliometrických údajích, údajích z národního Informačního systému VaVaI a kvantitativních
a kvalitativních údajích poskytnutých hodnocenými VJ, včetně sebehodnocení. Klíčovým principem v tomto hodnocení je to, že me-
triky (data) poskytují informace, ale nenahrazují úsudek. Expertní hodnocení je proto nanejvýš důležité ve všech fázích hodnoticího
procesu.
Struktura panelů je následující:
Oborové panely, které jsou vymezeny na úrovni oborů, budou provádět hodnocení (předpokládaný počet je 24 až 26 panelů)
• Panely budou podpořeny posuzovately, kteří se budou zabývat peer review vybraného počtu nejvýznačnějších publikací.
Posuzovatelé budou pracovat na úrovni subpanelů.
• Oborové panely si mohou vyžádat podporu od odborných poradců.
• Oborové panely budou pracovat pod vedením a dohledem šesti hlavních panelů, které budou vymezeny na úrovni vědních
oblastí.
Struktura vědních oblastí, oborů a podoborů je určena OECD FOS.

9. Závěrečná zpráva 1 9
Interdisciplinární výzkum
Hodnocená jednotka může navrhnout postoupení napříč mezi oborovými panely v případě, že interdisciplinární výzkum VJ pokrývá
různé obory v rámci jedné vědní oblasti. Pro tento účel by VJ měla určit a vysvětlit, která část jejich výzkumu je interdisciplinární.
Kromě návrhu oboru, který je pro VJ klíčový (nadřazený), mají jednotky možnost uvést další dva obory.
Hodnocená jednotka si také může vyžádat registraci jakožto interdisciplinární výzkumná jednotka (IVJ), pokud její výzkum pokrývá
více oborů v různých vědních oborech. Hodnocená jednotka se může zúčastnit hodnocení jakožto IVJ v případě, že nejméně 30 %
její výzkumné činnosti je prováděno napříč vědními obory. HJ bude muset přesvědčivě doložit, že interdisciplinární výzkum je klíčo-
vým atributem výzkumu v rámci IVJ, a prokázat, že mezi výzkumníky z různých oborů existuje strategické propojení a silná spoluprá-
ce. Kromě obecných výroků, jež vysvětlí, proč je pro jednotku vhodný status IVJ, musí podaná žádost také obsahovat tři následující
prvky: informace o výstupech výzkumu/bibliometrii, informace o vědeckém zázemí výzkumníků, kteří v IVJ figurují a popis výzkumné
strategie hodnoceného období. Pokud je žádost přijata předsedy příslušných hlavních panelů, bude sestaven ad hoc panel. Předse-
dou ad hoc panelu bude předseda nejrelevantnějšího hlavního panelu a jeho součástí budou členové dvou čí více oborových panelů,
které pokrývají dva či více relevantních oblastí.
Kritéria hodnocení
Metodika hodnocení zrcadlí strategické politické cíle českého systému VaV.
Hodnocení je strukturováno na základě pěti hodnoticích kritérií, která společné umožňují plnění strategických cílů systému hodno-
cení a financování, tj. ocenění excelence ve výzkumu a současné budování kapacit – jak ve výzkumu, tak v rámci inovace. Hlavními
hodnoticími kritérii jsou: výzkumné prostředí, postavení v národní a globální výzkumné komunitě, excelence vědeckého výzkumu,
celková výkonnost výzkumu a jeho relevance v rámci společnosti.
Podle každého z těchto kritérií (pro každou výzkumnou jednotku) oborový panel rozhodne o úrovni kvality za použití pětibodové škály
(od 1 do 5). Každá z těchto úrovní kvality je popsána pro každé kritérium hodnocení, tj. kritérium, na základě kterého bude rozhodo-
váno. Výzkumné jednotce nebude přiděleno „celkové“ skóre hodnocení kvality.
Formulace hodnot pro kritéria hodnocení jsou sestavena na základě zkušeností z mezinárodní praxe, ale zároveň berou v úvahu
skutečnou situaci českého systému VaV a věnují pozornost garanci dostatečného záběru kvality v rámci výše úrovně kvality. Výjim-
kou je kritérium excelence vědeckého výzkumu tam, kde je výhradním účelem identifikace hodnoticích jednotek s nejvyšší excelencí
v České republice.
Různé disciplíny a výzkumné organizace
Systém metodiky hodnocení je spravedlivý a rovnostářský a používá jeden jediný rámec hodnocení všech vědeckých disciplín a typů
VO bez ohledu na jejich velikost, a proto zajišťuje plnou srovnatelnost výsledků hodnocení napříč všemi dimenzemi. Srovnatelnost je
základní podmínkou pro využití výsledků hodnocení ve výkonnostním systému financování (PRFS) v jeho současné podobě.
Úroveň kvality proto musí mít tu samou hodnotu pro všechny hodnocené výzkumné jednotky a samotné hodnocení bude založeno
na stejném souboru indikátorů a informací. Z tohoto důvodu budou hodnoticí panely před samotným hodnocením provádět kalibraci.
Během kalibrace se budou oborové panely rozhodovat o interpretaci určitých klíčových slov v rámci hodnoticích kritérií v kontextu
jejich specifických oborů, a zároveň o relevanci výkonu oproti určitým sub-kritériím v kontextu jejich oborů a pro různé typy výzkum-
ných organizací.
Zdroje informací pro hodnocení
Hodnocení odbornými panely bude založeno na mezinárodních bibliometrických datech, datech z národního systému VaVaI a kvan-
titativních a kvalitativních datech, která poskytnou hodnocené výzkumné jednotky, a to včetně sebehodnocení.
Zúčastněné hodnocené jednotky poskytnou hodnoticímu panelu evidenci aktivit a výsledků svých výzkumných jednotek v jejich se-
behodnoticí zprávě. Také odevzdají stručný popis výzkumného prostředí výzkumné jednotky, jejího personálu, financování, výstupů
a aktivit, včetně fakt a kvantitativních informací a výsledků jejich sebehodnocení. Tento soubor bude také obsahovat SWOT analýzu
s nástinem vize budoucího vývoje.

10. 10 Závěrečná zpráva 1
Výše uvedené informace doplní bibliometrická zpráva. Zpráva, kterou odevzdá každá výzkumná jednotka, bude také obsahovat
informace o postavení VJ ve své oblasti výzkumu v České republice.
Výsledky hodnocení
Výsledky hodnocení budou zdrojem kvalitativních informací pro utváření politiky VaV na národní úrovni a úrovni poskytovatelů ve-
řejné podpory, ale zároveň také pro management VaV jednotlivých výzkumných organizací, institucí a univerzitních fakult. Výsledky
hodnocení poskytnou náhled na specifické silné a slabé stránky jednotlivých aktérů a umožní identifikaci faktorů, na jejichž základě
bude zapotřebí zahájení akce vedoucí k zlepšení výkonnosti výzkumu na národní a institucionální úrovni.
Výsledkem hodnocení panelu bude zpráva oborového panelu, která bude obsahovat v rámci každé hodnocené výzkumné jednotky
přidělenou úroveň kvality pro každé hodnoticí kritérium společně s důvodovou zprávou (pro každé kritérium) a konečnými závěry
a doporučeními pro vylepšení do budoucna.
Výsledkem hodnocení bude také soubor analytických zpráv na úrovni hodnocené jednotky, oboru a vědní oblasti. Tyto zprávy budou
provedeny ve formátu průkazné panelové agregace od úrovně VJ po vyšší úrovně.
Odvolání nebude přístupné.
Náklady hodnocení
Náklady a zatížení hodnocení budou drženy na minimální možné úrovni, ovšem tak, aby vznikl odolný a obhajitelný proces.
Řízení hodnocení
Subjekty zodpovědnými za vedení a management implementace Národního hodnocení výzkumných organizací (NERO) budou
Rada pro řízení hodnocení, která bude fungovat jako celkový velící a dohlížející orgán, a Řídicí tým hodnocení, který bude odpo-
vědný za provozní řízení hodnocení.
Úkoly řídicí struktury hodnocení, tj. Řídicího týmu hodnocení, nejsou omezeny pouze na řízení specifického provozu NERO. Naopak,
měly by být vnímány v širším dlouhodobém kontextu. Faktem je, že implementace NERO je součástí vývojového cyklu. Zejména
proto, že výsledky hodnocení budou zdrojem pro výkonnostní složku financování výzkumu v rámci institucionálního systému finan-
cování, musí být NERO vnímáno jako intervenční politika. V důsledku bude metodika hodnocení do určité míry vnímána „dynamicky“
– bude reagovat a počítat s potřebami měnící se politiky. Co se týče další intervenční politiky, její důsledky je třeba monitorovat, jak
ty zamýšlené, tak nezamýšlené, aby bylo možné metodiku přizpůsobovat podle potřeb v dalším kole hodnocení.
Metodika hodnocení definuje konkrétní pravidla pro případ konfliktu zájmů, proti nepotismu a klientelismu, ale také kontrolní mecha-
nismy a pravidla pro trestání případů podvodu. Případné tresty budou veřejné a přísné.
Hodnocení bude prováděno naprosto transparentně. Informace o kritériích hodnocení budou k dispozici před implementací hodnocení.
Všechny hodnoticí zprávy budou po skončení procesu hodnocení veřejné, včetně jmen členů hlavních a oborových panelů. Jména
posuzovatelů nebudou zveřejněna.

11. Závěrečná zpráva 1 11
1 Úvod
Tato zpráva je jednou ze tří Závěrečných zpráv studie navrhující novou metodiku hodnocení a principy institucionálního financování
výzkumu a vývoje (VaV) v České republice.
Závěrečná zpráva 1 popisuje metodologii Národního hodnocení výzkumných organizací (NERO) v České republice tak, jak byla
navržena v průběhu této studie. Její součástí je také finální verze metodiky hodnocení, která byla dříve popisána v rámci První dílčí
zprávy.
Druhé dvě Závěrečné zprávy se nazývají: Zásady institucionálního financování (The Institutional Funding Principles) a Malé pilotní
hodnocení a využití Informačního systému VaVaI jako nástroje při hodnocení. (The Small Pilot Evaluation and the Use of the RD&I
Information System for Evaluation).
Tato zpráva vznikla spojeným úsilím rozsáhlého týmu:
• Jan Dvořák, Tomáš Chudlarský (InfoScience Praha)
• Gunnar Sivertsen, Liv Langfeldt, Kyrre Lekve (NIFU)
• Michal Pazour, Zdeněk Kučera, Tomáš Vondrák, Jiří Vaněček, Ondřej Pecha, Ondřej Pokorný, Vladislav Čadil, Tomáš Ratin-
ger (Technologické centrum AV ČR)
• Erik Arnold, Tomas Åström, Oliver Cassagneau-Francis, Kristine Farla, Barbara Good, Tobias Fridholm, Elina Griniece, Zsuz-
sa Javorka, Malin Jondell Assbring, Peter Kolarz, Bea Mahieu, Göran Melin, Anke Nooijen, Fritz Ohler, Martijn Poel, Xavier
Potau, Caspar Roelofs, Tammy-Ann Sharp, Brigitte Tiefenthaler, Geert van der Veen, Frank Zuijdam (Technopolis Group)
Tým, který vypracovával studii, byl podporován oborovými experty: Christofer Edling, Milena Horvat, Ron Perrott, Roland Pochet,
Naomi Segal a Ken Thomson a poradním panelem ve složení: Diana Hicks, Paul Hubbard, Keith Jeffery a Gunnar Sivertsen.
1.1 Proces návrhu metodiky hodnocení
Metodika hodnocení (MH), kterou v tomto dokumentu navrhujeme, je výsledkem procesu vývoje, jenž probíhal po celou dobu trvání
studie.
S ohledem na zadávací dokumentaci (ZD) byla studie strukturovaná do tří částí. Nejprve se zaměřila na vytvoření konceptu metodiky
hodnocení, poté na principy financování. Poslední část studie byla věnována dokončení jak metodiky hodnocení, tak principů finan-
cování. Výsledky každé fáze byly zveřejněny ve formě dílčích zpráv.
Součástí procesu návrhu byly rozsáhlé konzultace jak s projektovým týmem IPN Metodika nesoucím za studii zodpovědnost, tak se
všemi aktéry systému VaVaI, a to také prostřednictvím dvou veřejných konferencích, jejichž součástí byla platforma pro otevřenou
diskuzi s komunitou VaVaI, a ověření návrhu malým pilotním hodnocením.
Aktéři českého systému VaVaI dostali šanci reagovat na návrhy dílčích zpráv jak v písemné formě, tak během konferencí, čímž byly
získány cenné informace potřebné k dokončení navrhované metodiky hodnocení.
Malé pilotní hodnocení, které proběhlo v listopadu a prosinci 2014, představovalo důležitý nástroj k otestování procesů, jež byly
definovány pro implementaci hodnocení výzkumu, a také vhodnost a proveditelnost definovaných hodnoticích kritérií a indikátorů.
Výsledky pilotního hodnocení a komentáře týkající se získaných zkušeností založených na zpětné vazbě od hodnoticích panelů
a jejich sekretariátů a také od zúčastněných výzkumných organizací jsou brány v potaz stejnou vahou v této finální verzi metodiky
pro Národní hodnocení výzkumných organizací v České republice.

12. 12 Závěrečná zpráva 1
1.2 Metodika hodnocení
Metodika hodnocení (MH), kterou navrhujeme v této zprávě, definuje klíčové principy budoucí metodiky hodnocení a stanovuje její
základní součásti.
Základním principem libovolné metodiky hodnocení je to, že by měla odrážet konkrétní cíle a potřeby politiky. Tyto cíle politiky definují
účel a funkci hodnocení, což představuje klíčový faktor při výběru hlavních prvků, tj. rozsah hodnocení, hodnoticí kritéria a indikátory,
použité metody a hloubku a šíři hodnocení.
V současné verzi odráží MH a její implementační principy cíle a potřeby politiky definované v posledních dokumentech týkajících se
politiky VaV v České republice. Zároveň reaguje na požadavky vyjádřené v zadávací dokumentaci pro tuto studii.
Aby odrážela cíle politiky, zaměřuje se stávající MH na hodnocení institucionálních podmínek, které umožňují provádění kvalitního
výzkumu (nyní a v budoucnu), podmínek pro excelenci ve výzkumu, celkovou výkonnost výzkumu a činnosti, které představují cesty
k dosažení dopadu – na výzkum i na společnost obecně.
Aby odrážela požadavky zadávací dokumentace pro tuto studii, má MH výraznou formativní funkci, tj. poskytuje strategické informa-
ce aktérům na všech úrovních systému VaV a poskytuje také informace výkonnostnímu systému financování (PRFS). Jde o národní
metodiku hodnocení, která umožňuje hodnotit výkonnost všech druhů výzkumných organizací (VO) a oborů při zohlednění jejich
rozdílů. Je nastavená tak, aby celkové náklady nepřesáhly 1 % institucionální podpory pro VaV z veřejných prostředků v hodnoce-
ném období.
Během procesu návrhu metodiky bylo naší snahou udržovat odpovídající rovnováhu mezi různými cíli a dimenzemi, které metodika
hodnocení musí pokrýt, a zároveň nepřekročit definovanou výši nákladů. Nevyhnutelně se jednalo o proces nacházení vhodných
kompromisů.
1.3 Struktura zprávy
Tato zpráva má následující strukturu:
Nejprve stanovíme kontext pro metodiku hodnocení. Metodika hodnocení bere v potaz prostředí a souvislosti systému VaV v České
republice (viz kapitola 2) a staví na důkladné analýze zahraničních konceptů hodnocení (popsáno v kapitole 3).
V kapitole 4 popisujeme vlastní metodiku hodnocení, její klíčové principy a základní prvky. V kapitole 5 prezentujeme struktury
a procesy pro implementaci metodiky.
K metodice hodnocení se vztahují následující příslušné Podkladové zprávy (Background Reports):
• Podkladová zpráva 1: Systémy hodnocení v mezinárodní praxi (Evaluation Systems in International Practice)
• Podkladová zpráva 2: Typologie výzkumných organizací a dopady hraničních hodnot metodiky hodnocení (MH) (Typology
of Research Organisations and the Effects of the EM Thresholds)
• Podkladová zpráva 3: Bibliometrie a bibliometrické údaje pro Českou republiku (Bibliometrics on and for the Czech Republic)
• Podkladová zpráva 4: Podrobný nákladový rámec hodnocení (Detailed Evaluation Cost Framework)
• Podkladová zpráva 5: Příručka hodnocení (Evaluation Handbook)

13. Závěrečná zpráva 1 13
2 Prostředí pro metodiku hodnocení
V této kapitole popisujeme vývoj metodiky hodnocení v České republice (podkapitola 2.1), podáváme stručný přehled o národním
systému VaV (podkapitola 2.2) a zasazujeme metodiku hodnocení do kontextu politiky VaV (podkapitola 2.3).
2.1 Metodika hodnocení v České republice
V současné době existuje v České republice jediný rámec jak pro hodnocení a posuzování výkonnosti výzkumných organizací, tak
pro hodnocení účinnosti a implementací programů účelové podpory. Metodika hodnocení je zaměřena výhradně na výstupy výzku-
mu a kombinuje dvě funkce: je to mechanismus jak pro hodnocení výkonnosti, tak i pro rozdělování institucionálního financování
VaV, přičemž mezi těmito dvěma funkcemi je přímá, automatická souvislost. Z toho vyplývá, že výsledky hodnocení přímo prosazují
výkonnostní systém financování (PRFS).1
2.1.1 Historický vývoj
Stávající rámec pro hodnocení v České republice má kořeny v Národní politice výzkumu a vývoje (VaV) pro roky 2004–2008, která
zahrnovala snahu zlepšit kvalitu systému hodnocení. Uváděla, že je potřeba posílit „kulturu hodnocení“, a zdůrazňovala důležitost
hodnocení coby vstupu pro vytváření politik a politických rozhodování. Některé závěry byly začleněny do vládního usnesení č. 644
o hodnocení VaV a jejich výsledků (červen 2004). Cílem usnesení bylo řešit zřetelné nedostatky v kvalitě hodnocení systému VaV.
Jde o základ pro hodnocení institucí a programů VaV a pro hodnocení ukončených projektů, včetně „výzkumných záměrů“, podle
kterých bylo tehdy poskytováno institucionální financování.
Metodika hodnocení z roku 2004 (dále jen Metodika) zavedla v České republice koncept hodnocení výsledků na základě kvantita-
tivních metrik, který byl brán jako nástroj – a pouze jedno z hlavních kritérií – k hodnocení kvality výkonnosti výzkumu. Také kladla
důraz na důležitost respektování rozdílů mezi disciplínami při hodnocení výsledků výzkumu.
V roce 2008 došlo k zásadním změnám způsobeným Reformou systému VaV. Metodika z roku 2009, která implementovala principy
reformy z roku 2008, zavedla systém hodnocení, který byl výrazně odlišný od Metodiky používané od roku 2004. Zásadní změny
Metodiky a jejích následujících verzí byly:
• Zúžení funkce hodnocení, opuštění předchozích pokusů o zavedení „evaluační kultury“ a začleněného prvku učení se; tyto
byly nahrazeny myšlenkou hodnocení coby součásti systému pro rozdělování zdrojů založeném na výkonnosti.
• Postupné omezování rozsahu pokynů pro hodnocení: zatímco Metodika z roku 2004 pokrývala různé úrovně systému VaV,
Metodika z roku 2009 se zaměřovala výhradně na kvantifikaci výstupů výzkumu za účelem hodnocení výzkumných organizací
a programů VaV.
• Rozšiřování rozsahu pokrytí Metodiky: Metodika z roku 2009 zavedla indikátorové hodnocení výsledků VaV pro stanovování
institucionálního financování na úrovni poskytovatelů veřejné podpory. Metodika z roku 2010 posílila a rozšířila toto využití až
na úroveň výzkumných organizací.
Mezinárodní audit systému VaVaI v České republice z roku 2011 (dále jen Audit VaVaI) Metodiku silně kritizoval. Studie konstatovala,
že metodika hodnocení byla vedena „dobrými úmysly“, když řešila problém nízké produktivity v některých výzkumných organizacích,
a snažila se zvýšit kvalitu výstupů VaV.
Nicméně studie také v systému hodnocení identifikovala podstatné nedostatky v kvalitě hodnocení a úloze hodnocení v cyklu tvorby
a implementace politiky. Identifikovány byly následující slabiny:
1 Tato část staví na třech zprávách, které byly publikovány v rámci Mezinárodního auditu systému VaVaI v České republice, tj. ARNOLD, Erik. Interna-
tional Audit ofthe R&D&I System in the Czech Republic – Synthesis report. International Audit of R&D&I in the Czech Republic. Brighton: Technopolis
Group, 2011; ARNOLD, E. et al. The Quality of Research, Institutional Funding&Research Evaluation in the Czech Republic and abroad – Final
Report – 3. International Audit of R&D&I in the Czech Republic. Brighton: Technopolis Group, 2011; ARNOLD, E., MAHIEU, B., HORVATH, A. R&D
Governance in the Czech Republic– Final Report– 2. International Audit of R&D&I in the Czech Republic . Brighton: Technopolis Group, 2011.

14. 14 Závěrečná zpráva 1
• Výhradní zaměření na okamžité výstupy systému VaV místo posuzování (mimo jiné), zda systém produkuje zamýšlené spo-
lečenské dopady.
• Snížení komplexity výkonnosti na příliš jednoduchou kategorii výstupů.
• Nedostatečné zohlednění rozdílů mezi obory (jak v druzích výstupů, tak v nákladech na jejich získání).
• Všechny instituce jsou posuzovány stejně bez ohledu na jejich poslání na základě indikátorů, které jsou ve skutečnosti
libovolné.
• Koncept, že systém hodnocení je svou podstatou součástí cyklu tvorby a implementace politiky, není zřejmý. Náležitosti poli-
tik, například národní tematické priority, nejsou brány v potaz a jen malé či žádné úsilí je věnováno účinnému měření rozsahu,
jakým intervence politiky dosahují očekávaných výsledků v oborech VaV.
Na obecné úrovni Audit VaVaI posoudil potřebu vybudovat kulturu hodnocení v národním systému VaV a také to, že je nutné, aby
tvůrci politiky a výzkumné organizace začali hodnocení vnímat jako nástroj poznání (učení se) a zlepšení výzkumu.
Audit VaVaI shrnul:2
„Metodika hodnocení neodpovídá svému účelu. Zavádí strukturální a behaviorální deformace a omezuje mnohé aspekty vývo-
je národního systému VaVaI. Metodika hodnocení by měla být nahrazena systémem výkonnostních smluv, které zahrnují jak
výhledové, tak retrospektivní komponenty a jsou podporovány objektivními indikátory a mezinárodním peer review.
Systém hodnocení VaV v České republice se šířeji zaměřuje na počítání výstupů na úkor porozumění intervencí politiky
a jejich dopadů. Tím pádem poskytuje informace, které nejsou příliš relevantní. Hodnoticí praktiky by měly být od základu
reformovány, aby se kromě výstupů zaměřily na výsledky a dopady a aby přispívaly k politice a tvorbě programů a plánování.
2.1.2 Nedávný vývoj
V návaznosti na Audit VaVaI byly uskutečněny změny v metodickém přístupu k hodnocení, které vyústily do Metodiky 2013–2015.
Nejpodstatnější změny sestávaly z vylepšení metody hodnocení výzkumu prostřednictvím zavedení komponenty hodnoticích pa-
nelů, přesnějších definicí výstupů výzkumu a omezení způsobilých typologií, aby se podařilo odhalit pokusy o obehrávání systému
a zvýšit důvěru výzkumné komunity ve spravedlivost systému.
Ačkoliv se jednalo o pozitivní vývoj, metodické chyby systému hodnocení identifikované v rámci Auditu VaVaI se podařilo napravit
pouze částečně: Metodika zůstala téměř výhradně zaměřená na výstupy výzkumu.
Pět let po zavedení Metodiky 2009 jsou negativní dopady systému hodnocení a financování na kulturu hodnocení v systému VaVaI
stále patrnější, což vede k nekoncepčnosti úlohy hodnocení. Ta zahrnuje:
• Počet dosažených „bodů RIV“, tj. bodů připsaných různým výstupům výzkumu v rámci „hodnocení“, je považován za znak
kvality výzkumu a za měřítko pro odměňování/postihování v celém systému VaV, až po úroveň jednotlivých výzkumníků.
• Přímé spojení mezi hodnocením a financováním velmi ovlivňuje kulturu hodnocení a výrazně zasáhlo český systém hodno-
cení VaV a příprav politiky.
• Diskuse o hodnocení je vedena nezávisle na diskusi o politice a strategii národního systému VaV.
2.2 Systém VaV
2.2.1 Řízení systému VaV
V posledních letech byly v České republice (ČR) položeny základy pro radikální změnu struktury řízení VaVaI. Tyto změny vycházely
z Reformy z roku 2008 a následné Národní politiky výzkumu, vývoje a inovací na léta 2009–2015 a z dalších nezbytných legislativ-
ních zásahů. Aktuální řídicí struktura VaVaI v ČR je znázorněna na obrázku 1.
2 ARNOLD, Erik. International Audit ofthe R&D&I System in the Czech Republic – Synthesis report. International Audit of R&D&I in the Czech Republic.
Brighton, Technopolis Group, 2011.

15. Závěrečná zpráva 1 15
Na nejvyšší úrovni systému řízení VaVaI funguje Rada pro výzkum, vývoj a inovace (dále jen RVVI) jako poradní orgán vlády ČR.
Rada má 16 členů (nepočítaje předsedu) a je řízena předsednictvem. Úlohu předsedy RVVI plní vicepremiér pro výzkum, čímž se
zaručuje její legitimita. Členy RVVI jsou zástupci různých komunit VaVaI a nominuje je vláda na základě návrhů předsedy. Mandát
trvá čtyři roky (s jedním možným opakováním).
RVVI řeší široké spektrum otázek v oblasti národního řízení systému VaVaI, včetně definování celkového zaměření a priorit napříč
národním systémem VaVaI, dlouhodobého strategického vývoje, příprav a návrhů detailního rozpočtu pro výzkum a vývoj, monitoro-
vání a hodnocení. RVVI podporují tři oborové poradní expertní komise a dvě poradní komise, tj. Komise pro bioetiku a Komise pro
hodnocení výsledků.
Druhou „zprostředkovatelskou“ úroveň představuje skupina ministerstev, Akademie věd a agentur, jež jsou zodpovědné za imple-
mentaci politiky VaVaI.
Zapojení vlády a parlamentu ve stávajícím systému VaVaI je značné. Agentury mají unikátní status; jejich řídicí orgány jsou nominová-
ny vládou – na základě nominací RVVI. Vláda také nominuje – nebo odvolává – členy RVVI. Sekretariát RVVI je součástí Úřadu vlády.
Obr. 1 Systém řízení VaVaI v ČR
Parlament
Vláda
AV ČR MŠMT
Oddělení
ministerstva
Oddělení
ministerstva
Oddělení
ministerstva
Oddělení
ministerstva
Veřejné
výzkumné
instituce
Vysoké školy Soukromé
výzkumné instituce
Sektorové
výzkumné instituce
Průmysl Jednotliví
výzkumní
pracovníci
MPO Ministerstvo
kultury
Technologická
agentura
ČR
Grantová
agentura
ČR
Agentura
pro
zdravotnický
výzkum ČR
Ministerstvo
zdravotnictví
Ministerstvo
zemědělství
Ministerstvo
obrany
Ministerstvo
vnitra
RVVI
Poslanecká sněmovna
Sekretariát
Vlastnictví a peníze Peníze Jmenování
Místopředseda vlády
pro vědu, výzkum
a inovace
Zúčastněné strany
z akademické obce
a průmyslu
Zdroj: Technopolis, 2014
Národní politika VaVaI na léta 2009–2015, která implementovala Reformu systému VaVaI, restrukturovala systém řízení VaVaI. Počet
ministerstev a dalších orgánů veřejné správy, které měly v kompetenci financování VaVaI, byl snížen, což zredukovalo počet kapitol
rozpočtu VaV z 22 na 11. Dohromady má odpovědnost za správu národních veřejných prostředků pro VaVaI sedm ministerstev:
ministerstvo obrany, ministerstvo zdravotnictví, ministerstvo zemědělství, ministerstvo školství, mládeže a tělovýchovy, ministerstvo
průmyslu a obchodu, ministerstvo kultury a ministerstvo vnitra.
Všechna tato ministerstva mají ve své kompetenci poskytování institucionálního financování pro výzkumné organizace. Tato minis-
terstva také vytváří a implementují programy VaV. Výjimkou je ministerstvo průmyslu a obchodu, které oficiálně nemá odpovědnost
za programy VaV, i když v současné době takový program realizuje (do roku 2017). Žádné z uvedených ministerstev neprovádí
systematické hodnocení svých výzkumných organizací.

16. 16 Závěrečná zpráva 1
2.2.2 Základna VaV
Jak je ukázáno na obrázku 1 výše, výzkumná komunita v České republice sestává z výzkumníků zaměstnaných na vysokých ško-
lách, veřejných výzkumných institucích (včetně těch, které jsou „seskupeny“ v Akademii věd a „sektorových“ veřejných výzkumných
institucích), soukromých výzkumných organizacích a průmyslu.
Klíčovými aktéry ve veřejném výzkumu jsou veřejné univerzity a výzkumné ústavy Akademie věd ČR.
• V ČR je 26 veřejných vysokých škol, 2 státní vysoké školy (Policejní akademie a Univerzita obrany) a 45 soukromých insti-
tucí VŠ vzdělávání.
• Akademie věd (dále jen AV ČR) má z historického hlediska význačné postavení v rámci národního systému VaV. Jde o „orga-
nizační složku ČR“ a její činnost je financována přímo ze státního rozpočtu (má svou vlastní kapitolu v rozpočtu). Zodpovídá
za rozdělování institucionálního financování mezi svých 54 ústavů. V nich organizuje interní institucionální hodnocení.
• Sektorové veřejné výzkumné instituce jsou veřejné instituce, které dříve podléhaly konkrétním ministerstvům (např. minis-
terstvu zemědělství nebo dopravy) a získaly status veřejných výzkumných institucí v roce 2007. V několika případech je státní
správa cílovým uživatelem produktů/služeb těchto institucí.
• Soukromé výzkumné instituce zahrnují široké spektrum soukromých podniků, které nabízejí služby VaV. Jsou to průmys-
lově orientované výzkumné instituce, které v dobách komunismu působily jako výzkumné a technologické organizace a v 90.
letech 20. století došlo k jejich transformaci.
Pouze instituce, které jsou považovány za výzkumné organizace (VO), mají nárok na veřejnou institucionální podporu.
VO jsou definovány v zákoně č. 211/2009 Sb. (novela zákona 130/2002 Sb.), o podpoře výzkumu experimentálního vývoje a inovací.
ČR přijala definici z „Rámce společenství pro státní podporu výzkumu, vývoje a inovací“ z roku 2006, který uvádí:
„Výzkumnou organizací“ se rozumí určitý subjekt, např. vysoká škola nebo výzkumný ústav, bez ohledu na právní formu (sub-
jekt zřízený podle veřejného nebo soukromého práva) nebo způsob financování, jehož hlavním účelem je provádět základní
výzkum, aplikovaný výzkum nebo experimentální vývoj a šířit jejich výsledky prostřednictvím výuky, publikování nebo převodu
technologií; veškerý zisk je zpětně investován do těchto činností nebo šíření jejich výsledků nebo do výuky; podniky, které
mohou uplatňovat vliv na takovýto subjekt, např. jako podílníci nebo členové, nemají žádný přednostní přístup k výzkumným
kapacitám tohoto subjektu nebo k výsledkům výzkumu vytvořeným tímto subjektem.“
Od července 2014 platí nové Nařízení Rady EU, které poskytuje mírně odlišnou definici VO:
„Organizací pro výzkum a šíření znalostí“ nebo „výzkumnou organizací“ se rozumí subjekt (např. univerzita nebo výzkumný
ústav, agentura pro přenos technologií, zprostředkovatel v oblasti inovací, fyzický nebo virtuální spolupracující subjekt za-
měřený na výzkum) bez ohledu na jeho právní postavení (zřízený podle veřejného nebo soukromého práva) nebo způsob
financování, jehož hlavním cílem je provádět nezávisle základní výzkum, průmyslový výzkum nebo experimentální vývoj nebo
obecně šířit výsledky těchto činností formou výuky, publikací nebo přenosu znalostí.“
Technická novela uvedeného zákona je nyní v procesu přípravy. Tím budou všechny změny v Rámci přeneseny do české legislativy
(včetně definice VO).3
Podle IS VavaI bylo v roce 2014 v ČR 219 registrovaných VO. Veřejné výzkumné instituce představovaly většinu registrovaných VO
v roce 2014 (163 z celkových 219). 56 neveřejných VO má jiný právní status, včetně:
• Příspěvkové organizace rúzné soukromé agentury, think tanky, atd.)(12)
• Obchodní společnosti (společnosti s ručením omezením a akciové společnosti)(38)
• Jiné právní subjekty (1)
• Profesní asociace/neziskové organizace (5)
3 Typologií výzkumných organizací se zabýváme podrobněji v Podkladové zprávě 2 – Typologie výzkumných organizací a dopady hraničních hodnot MH
(Typology of Research Organisations and theEffects of the EM Thresholds)

17. Závěrečná zpráva 1 17
Téměř 20 % z 219 registrovaných VO (43) získalo status VO po roce 2011. Nové VO jsou většinou státní organizace (muzea, nemoc-
nice atd.), obchodní společnosti (soukromé univerzity a soukromé společnosti) a příspěvkové organizace.
Nicméně pouze 164 z těchto VO v roce 2014 skutečně obdrželo institucionální financování. Tabulka 2 níže ukazuje ministerstva odpověd-
ná za rozdělování institucionální podpory (tj. „financující orgány“) a počet VO, kterým poskytovaly institucionální financování v roce 2014.
Tab. 2 Poskytovatelé institucionálního financování v roce 2014
Financující orgán
Počet VO, které
obdržely institucionální
podporu (2014)
% z celkové
institucionální
podpory
Akademie věd ČR 54 33 %
MŠMT (ministerstvo školství, mládeže
a tělovýchovy)
41 25 %
MZe (ministerstvo zemědělství) 20 12 %
MZ (ministerstvo zdravotnictví) 15 9 %
MK (ministerstvo kultury) 13 8 %
MPO (ministerstvo průmyslu a obchodu) 10 6 %
MV (ministerstvo vnitra) 8 5 %
MO (ministerstvo obrany) 3 2 %
Celkem 164 100 %
Dle IS VaVaI z 219 VO zaregistrovalo 200 VO alespoň jeden akademický publikační výstup4
v období 2008–2012 (tabulka 3 níže).
Obzvláště aktivní byly fakultní nemocnice a téměř 30 veřejných VO – mimo AV ČR a veřejné vysoké školy. Několik soukromých
vysokých škol registrovalo ve stejném období publikační výstupy.
Tab. 3 Výzkumné organizace, které v IS VaVaI registrovaly publikační výstupy za období 2008–2012
Počet VO
Akademie věd ČR 53
Veřejná vysoká škola 26
Soukromá vysoká škola 7
(Fakultní) nemocnice 13
Ministerstvo vnitra/obrany (vysoké školy a instituce) 10
Jiné instituce/centra 62
Státní agentury/muzea/knihovny 29
Celkem 200
Zdroj: Veřejné údaje z IS VaV (www.isvav.cz), analýza Technopolisu
4 Čtyři typy publikací: J – Journal Article (článek v periodiku), B - Book (kniha – monografie), C – Book Chapter (kapitola knihy), D – Conference Paper
(článek ve sborníku)

18. 18 Závěrečná zpráva 1
Z hlediska velikosti VO poslední dostupné údaje z Českého statistického úřadu ilustrují rostoucí důležitost vysokoškolského sektoru
ve výzkumu. V roce 2011 představoval tento sektor přibližně 30 % z celkového počtu výzkumníků (v přepočtu na plný úvazek) v ČR
(tabulka 4). Srovnatelné údaje počtu výzkumníků (v přepočtu na plný úvazek) na úrovni fakult nejsou k dispozici.
Tab. 4 Počet výzkumníků v sektorech provádění (2011)
Sektor Celkem
Muži Ženy
Počet % z celku Počet % z celku
Vládní sektor
Registrovaný počet
zaměstnanců
k 31. prosinci
8 220 5 088 61,9 % 3 132 38,1 %
Ekvivalent plného
pracovního úvazku
6 235 3 964 63,6 % 2 272 36,4 %
Sektor VŠ vzdělávání
Registrovaný počet
zaměstnanců
k 31. prosinci
20 732 13 548 65,3 % 7 184 34,7 %
Ekvivalent plného
pracovního úvazku
10 289 6 986 67,9 % 3 303 32,1 %
Podnikový sektor
Registrovaný počet
zaměstnanců
k 31. prosinci
16 698 14 157 84,8 % 2 541 15,2 %
Ekvivalent plného
pracovního úvazku
13 958 11 913 85,3 % 2 045 14,7 %
Soukromý neziskový sektor
Registrovaný počet
zaměstnanců
k 31. prosinci
251 172 68,5 % 79 31,5 %
Ekvivalent plného
pracovního úvazku
199 123 61,6 % 77 38,4 %
Celkem
Registrovaný počet
zaměstnanců
k 31. prosinci
45 902 32 966 71,8 % 12 936 28,2 %
Ekvivalent plného
pracovního úvazku
30 682 22 985 74,9 % 7 696 25,1 %
Zdroj: Český statistický úřad, 2014

19. Závěrečná zpráva 1 19
2.2.3 Oborové zaměření výzkumu
Oborový publikační profil ČR jsme analyzovali podle oborové klasifikace OECD (viz Dodatek této zprávy). Její použití umožňuje me-
zinárodní srovnatelnost údajů o výzkumných aktivitách v konkrétních oborech a jejich výsledků, což zvýší možnosti benchmarkingu
a používání mezinárodních databází.
Tabulka 5 níže vykazuje celkový počet publikačních výstupů5
, které byly zaregistrovány v IS VaVaI ve vazbě na specifické obory
v letech 2009–2013. Celkové počty na úrovni disciplín je třeba zvažovat pozorně, protože publikace mohou být registrovány ve vazbě
na několik oborů. Na základě dat je publikační profil České republiky následující:
• Česká republika je na poli výzkumu a publikací obzvláště aktivní v oblasti přírodních věd, jmenovitě ve fyzikálních oborech,
astronomii a biologii.
• Druhou oblastí specializace ve smyslu množství aktivit je inženýrství a technologie, zejména elektrické/elektronické/informač-
ní inženýrství.
• Dále v oblasti lékařství a zdravotnických věd a sociálních věd. Je třeba zmínit vysoký počet publikací zejména v oboru klinické
medicíny.
Profil výzkumu získaný z této analýzy dat IS VaVaI se obecně shoduje s výsledky bibliometrické analýzy založené na datech z Web
of Sciences (WOS). Informace z této analýzy jsou zahrnuty v Podkladové zprávě 3 – Bibliometrie a bibliometrické údaje pro Českou
republiku (Bibliometrics on and for the Czech Republic).
V rámci této analýzy jsme také provedli mezinárodní srovnání bibliometrických dat pro Českou republiku. Zjistili jsme, že České re-
publika své zaměření na přírodní vědy, inženýrství a technologii sdílí se sousedními zeměmi; s Německem, Polskem a Slovenskem.
Nicméně, vzhledem k největším a nejvlivnějším zemím, je z hlediska citačního dopadu v těchto dvou hlavních oblastech prostor pro
zlepšení.
Také jsme zjistili, že důraz na výzkumný profil v lékařství a zdravotnických vědách je nižší, nežli je obecnou normou v EU a USA.
Průměrný citační impakt v lékařství a zdravotnických vědách pro Českou republiku vysoce vyniká, ale podle dat je toto množství
v České republice každoročně dáno vysokou citací článků.
Tab. 5 Vědecké výstupy ve vědních oblastech a oborech, Česká republika, 2009-2013
Počet vědeckých výstupů
1. PŘÍRODNÍ VĚDY 86 053
101 Matematika 8 441
102 Počítačové a informační vědy 9 441
103 Fyzikální vědy a astronomie 19 081
104 Chemické vědy 13 280
105 Vědy o Zemi a příbuzné vědy o životním prostředí 15 070
106 Biologické vědy 20 740
2. INŽENÝRSTVÍ A TECHNOLOGIE 59 247
201 Stavební inženýrství 11103
5 Čtyři typy publikací: J – Journal Article (článek v periodiku), B – Book (kniha – monografie), C – Book Chapter (kapitola knihy), D – Conference Paper
(článek ve sborníku)

20. 20 Závěrečná zpráva 1
Počet vědeckých výstupů
202 Elektrotechnické inženýrství, elektronické inženýrství, informační inženýrství 14 646
203 Strojní inženýrství 4 222
204 Chemické inženýrství 1 762
205 Materiálové inženýrství 10 578
206 Lékařské inženýrství 267
207 Environmentální inženýrství 3 451
209 Průmyslové biotechnologie 839
211 Ostatní technické vědy 5 891
3. LÉKAŘSKÉ VĚDY 44 876
301 Základní medicína 4 147
302 Klinická medicína 32 338
303 Zdravotní vědy 4 231
305 Ostatní lékařské vědy 4 160
4. BIOLOGICKÉ A ZEMĚDĚLSKÉ VĚDY 12 129
401 Zemědělství, lesnictví a rybářství 8 133
402 Vědy o zvířatech a mléce 1 875
403 Veterinární vědy 1 599
405 Ostatní zemědělské vědy 522
5. SOCIÁLNÍ VĚDY 46 172
501 Psychologie 2 448
502 Ekonomie a podnikání 18 593
503 Vzdělávací vědy 10 697
504 Sociologie 2 520
505 Právní vědy 6 968
506 Politické vědy 2 710
507 Sociální a ekonomická geografie (zeměpis) 614
508 Média a komunikace 409
509 Ostatní sociální vědy 1 213

21. Závěrečná zpráva 1 21
Počet vědeckých výstupů
6. HUMANITNÍ VĚDY 36 496
601 Historie a archeologie 13 392
602 Jazyky a literatura 10 917
603 Filozofie, etika a náboženství 5 276
604 Umění (umění, historie umění, herecké umění, hudba) 6 911
Zdroj: IS VaVaI, 2014, kategorie:J – odborný článek, B – kniha, C – kapitola v knize, D – článek ve sborníku
Údaje z IS VaVaI také ukazují, že celkový počet původních recenzovaných odborných a vědeckých publikací, který můžeme ročně
očekávat, je 22 000.
2.3 Cíle politiky této studie
Tato studie je součástí projektu IPN Metodika, který má následující cíl:
„Navrhnout systém pro hodnocení výkonnosti a mechanismy financování pro celý systém, aby veřejná podpora vedla ke zvý-
šení excelence českého VaVaI, působit jako motivátor pro všechny aktéry a podporovat růst konkurenceschopnosti ČR.“
S ohledem na zásady financování definuje tým projektu IPN Metodika strategický cíl projektu: „Navrhnout motivující systém instituci-
onálního financování VaVaI s důrazem na excelenci a střednědobé plánování.“
Projekt rovněž stanovil kontext zadání v rámci politiky; ve zprávě o stavu projektu ze srpna 2013 se psalo:
„Tento projekt je založený na cílech a opatřeních vládních strategických dokumentů (Reforma VaVaI, Národní politika VaVaI
na léta 2009–2015, Strategie pro mezinárodní konkurenceschopnost pro období 2012–2020, Národní inovační strategie),
doporučeních Mezinárodního auditu VaVaI, dlouhodobých principech hodnocení a financování schválených Radou VaVaI
a dobré mezinárodní praxi.“
Analýza aktuálně platných strategických dokumentů politiky v ČR6
nám umožnila identifikovat klíčové cíle metodiky hodnocení a zá-
sady financování. Jsou shrnuté v tabulce 6 .
Tab. 6 Cíle metodiky hodnocení a zásady financování
Kategorie cíle Cíle
Kapacita VaV
Zlepšit řízení VaV na všech úrovních.
Zlepšit rozvoj lidských zdrojů, aby odrážel potřeby znalostní ekonomiky ČR.
Posílit spolupráci aktérů VaV na národní úrovni, tj. akademického výzkumu,
univerzit, aplikovaného výzkumu a aplikační sféry.
Posílit mezinárodní spolupráci.
Excelence ve VaV Motivovat VO k excelenci.
Společenská relevance Motivovat VO ke spolupráci s průmyslem.
6 Národní politika VaVaI na období 2010–2015 s výhledem do 2020; Operační program Výzkum, vývoj, inovace 2014–2020; Operační program Podnikání
a inovace pro konkurenceschopnost 2014–2020 (MIT); Národní program reforem 2014; Strategie mezinárodní konkurenceschopnosti 2012–2020 (MIT);
Národní prioriry orientovaného výzkumu, experimentálního vývoje a inovací; Vládní program 2014.

22. 22 Závěrečná zpráva 1
Kategorie cíle Cíle
Motivovat VO k přenosu technologií do praxe.
Pobídnout VO k výzkumu odpovídajícímu potřebám společnosti a podnikového sektoru.
Národní politika VaVaI na léta 2009–2015 také stanovila: „Nová metodika hodnocení zohlední rozdíly mezi různými druhy VO a vý-
zkumných oborů/skupin výzkumných oborů.“
Na základě dostupných dokumentů a diskusí jsou naše postřehy a závěry k cílům této studie a zejména k návrhu MH následující:
• Prvním požadavkem je, aby hodnocení, které bude podkladem pro PRFS, důvěřovala výzkumná komunita. Historie napovídá,
že to v ČR bude možná obtížné; klíčovými prvky proto musí být transparentnost a využití nezaujatých hodnotitelů.
• Stávající systém, podle kterého se VO oficiálně uznávají jako výzkumné organizace, a tím pádem mají nárok na určitou úro-
veň institucionální podpory, je vnímán jako nenáročný, a proto vede k registraci velkého počtu malých výzkumných organizací.
Metodika hodnocení však v tomto smyslu nemůže suplovat (ani implicitně) politická rozhodnutí.
• Dalším požadavkem je, aby systém poskytoval institucionální podporu všem součástem systému VaVaI, které provádějí vý-
zkum a jsou oficiálně uznány jako VO. Bez toho nebudou naplněny režijní a infrastrukturní potřeby výzkumníků a bude obtížné
v praxi udržovat výzkumné aktivity. Slovy dřívější britské terminologie by toto financování bylo popsáno tak, že VO umožňuje
vlastnit „dobře vybavenou laboratoř“, ve které lze provádět výzkum s použitím externího nebo „cíleného“ financování. Samo-
zřejmě k tomu je zapotřebí mít mechanismus, který takovou podporu alokuje na kterémkoliv místě v rámci systému, kde je
odsouhlaseno, že může být realizován výzkum. Z toho vyplývá, že část této podpory musí být poskytována před zahájením
výzkumu, aby bylo možné vybudovat dostatečnou výzkumnou kapacitu. To lze provádět prostřednictvím výkonnostních smluv.
Jakmile existuje výzkumná kapacita, je možné ji otestovat měřením výstupu a výkonnosti.
• Spolu s budováním a udržováním výzkumné kapacity napříč systémem VaVaI je zde snaha identifikovat oblasti výzkumné excelence
a soustředit na ně zdroje, aby byla kapacita vybudována v silných oborech. To vyžaduje dodatečné pobídky pro dosažení excelence,
jejichž prostřednictvím by se rozdělovala část institucionální podpory, např. nelineárním způsobem jako v případě UK RAE/REF.
• Výzkum je ze své podstaty dlouhodobou aktivitou, takže je nutné, aby systém institucionální podpory poskytoval jistou míru
stability a volnosti k provádění strategických investic a) prostřednictvím mechanismu výkonnostních smluv a b) tlumením pří-
lušných výkyvů v institucionální podpoře pro různá období. Tento druhý prvek musí být součástí struktury modelu financování:
jaká část institucionální podpory by měla být předmětem soutěže v jednom kole financování?
• Zvýšení kvality, relevance, produktivity a internacionalizace národního VaVaI – to jsou cíle pro celý systém. Ve svém důsledku
jde o rozšíření obecného cíle budování kapacit, a tyto cíle mohou tedy být stimulovány prostřednictvím kompetitivních pobídek
(v praxi s použitím metriky v hodnocení pro informování hodnotitele).
• Snaha zavést formativní prvek do metodiky hodnocení, který by fungoval na základě sledování stavu vybraného počtu VO
nebo oborů. Cílem je omezit tuto součást na malý počet předních organizací. Při rozhodování o tom, kolik VO a oborů zařadit
do této aktivity, je při nepřítomnosti jiných kritérií potřeba vzít v úvahu náklady.
• Posledním cílem MH je poskytovat informace tvůrcům politiky, čehož lze dosáhnout dodatečnou analýzou informací získaných
v rámci hodnocení.
Naše závěry ohledně role a funkce MH:
• Od MH se očekává, že bude hodnotit výkonnost, ale je také zamýšlena jako nástroj k usměrňování chování výzkumných
subjektů a k poskytováním podkladů pro institucionální podporu.
• MH má výraznou formativní funkci. Očekává se od ní, že bude sloužit jako zdroj informací pro strategické řízení VaVaI –
na úrovni vlády, poskytovatelů podpory, programů a VO.
• MH bude zahrnovat všechny VO v ČR bez ohledu na velikost za předpokladu, že jako takové budou oficiálně uznány.
• MH zohlední rozdíly mezi druhy VO a oborovými zvyklostmi.

23. Závěrečná zpráva 1 23
3 Koncepty a základní prvky hodnocení v mezinárodní praxi
V této kapitole představíme kontext metodiky hodnocení.
V této kapitole se zamýšlíme nad úlohou hodnocení (podkapitola 3.1) a posléze popisujeme mezinárodní praxi ve vztahu k základním
prvkům, které ovlivňují návrh jakékoliv metodiky hodnocení, tj. rozsah hodnocení (podkapitola 3.2), metodu hodnocení (podkapitola
3.3), strukturu a úroveň analýzy hodnocení (podkapitola 3.4), zaměření hodnocení (podkapitola 3.5) a indikátory a hodnoticí kritéria
(podkapitola 3.6). Nakonec se budeme zabývat riziky, která jsou spojená s využíváním výsledků hodnocení, a popíšeme opatření,
která obvykle vedou ke snížení těchto rizik (podkapitola 3.6.6).
Srovnávací analýzy mezinárodní praxe této kapitoly jsou založeny na analýze mezinárodní praxe deseti zemí, která byla provedena
v rámci této studie. Čtenáře, kteří mají o tyto analýzy zájem, odkazujeme na Podkladovou zprávu 1 – Systémy hodnocení v meziná-
rodní praxi (Evaluation Systems in International Practice).
3.1 Úloha hodnocení
Evropská komise definuje hodnocení jako „posouzení intervencí podle jejich výsledků, dopadů a potřeb, které mají uspokojit“7
.
Vyzdvihuje, že hodnocení je „proces, který vrcholí posouzením intervence“, a označuje hlavní účely:
• Přispívat k návrhu intervencí, včetně poskytování vstupů pro stanovování politických priorit.
• Pomáhat při efektivním rozdělování zdrojů.
• Zlepšovat kvalitu intervencí.
• Podávat zprávy o výsledcích intervencí (tj. odpovědnost).
Funkce a účel hodnocení jsou klíčovým prostředkem, který ovlivňuje výběr hlavních prvků, tj. rozsah hodnocení (instituce, jednotliví
výzkumníci atd.), hodnoticí kritéria a indikátory, použité metody (vzájemné hodnocení, metriky atd.) a hloubku a šíři hodnocení.
V mezinárodní praxi se hodnocení stalo integrální součástí cyklu politiky. Podle potřeb politiky se od hodnocení očekává podpora
učení se (získávání zkušeností) a zlepšování a také zajištění odpovědnosti. Očekává se od něj poskytování informací, které pomo-
hou navrhnout lepší politiky, a/nebo posouzení výkonnosti za účelem legitimizace dřívějších iniciativ. Ve většině případů má tedy
hodnocení jak sumativní, tak formativní funkci: hodnotí dřívější výkonnost (sumativní funkce), analyzují faktory, které pomáhaly či
brzdily dosažení cílů intervence, a doporučuje změny intervencí nebo nové intervence (formativní funkce).
Termín „cyklus politiky“ se netýká jen národních politik VaVaI. Zvýšená institucionální autonomie VO v modelu nové veřejné správy
(new public management), který přenáší odpovědnost za provádění výzkumu na různé úrovně systému výzkumu, vedla k rozšíření
rozsahu a použití hodnocení. Aktéři zapojení v získávání informací pro hodnocení, kteří mají zájem o využití jeho výsledků, jsou
nyní na všech úrovních systému výzkumu – od tvůrců politiky po samotné výzkumníky. Tento trend vedl k vytvoření systému šíření
informací; kromě toho znamenal diferenciaci očekávání a potřeb hodnocení.8
Co se účelu týče, je nutné výrazně odlišit hodnocení, která mají za cíl pouze posouzení výkonnosti výzkumu, a systémy hodnocení,
které mají (také) za účel poskytovat informace výkonovému systému financování (PRFS).
• Hodnoticí systémy, jejichž výsledky nejsou přímo používány pro rozdělování institucionální podpory, mají výrazný formativní
charakter v tom smyslu, že poskytují VO zpětnou vazbu, kterou mohou použít ke zlepšení výkonnosti, a zároveň poskytují
tvůrcům politiky strategické informace o národním systému výzkumu.
• Hodnocení, jež poskytují informace PRFS, mají výraznou sumativní úlohu. Usměrňování reakcí výzkumu je klíčovou funkcí
PRFS a v praxi má PRFS odlišné cíle v závislosti na národních kontextech a strategiích politik.
7 http://ec.europa.eu/dgs/internal_market/evaluation/evaluation/index_en.htm.
8 Mahieu, B., Arnold, E., Kolarz, P., (2014) Measuring scientific performance for improved policy making, Technopolis Group, Report for the European
Parliament – STOA

24. 24 Závěrečná zpráva 1
Rozdílné účely těchto hodnocení a jejich potenciálních dopadů definují volbu metodiky ve vztahu k využitým ukazatelům a procesy
vytváření vlastní metodiky. Tyto rozdíly shrnujeme v tabulce 7.
Tab. 7 Rozdíl v účelu a dopadech „obecných“ hodnocení a hodnocení v rámci PRFS
„Obecné“ hodnocení Hodnocení v rámci PRFS
Poskytuje tvůrcům politik informace o selháních v systému
a doporučuje možné intervence.
Je součástí intervence: reaguje na dříve identifikovaná
selhání a směruje vývoj, aby selhání napravil intervencí.
Žádné dopady přímo svázané s hodnocením. Má za cíl tvořit dopady.
Žádné důsledky ovlivňování nebo nežádoucích dopadů.
Nevyhnutelné důsledky ovlivňování; může vést k nežádou-
cím dopadům.
Poskytuje informace o pozici hodnocených subjektů v ná-
rodním a mezinárodním kontextu.
Staví hodnocené subjekty proti sobě.
V rámci této studie jsme analyzovali národní systém hodnocení v pěti zemích, které byly pro tuto studii vybrány (Rakousko, Nizo-
zemsko, Norsko, Švédsko, Spojené království). Zkoumali jsme také konkrétní aspekty praxe v pěti dalších zemích: Austrálie, Belgie/
Vlámsko, Finsko, Itálie a Nový Zéland (viz Podkladová zpráva 1 – Systémy hodnocení v mezinárodní praxi).
Tabulka 8 kategorizuje národní systémy hodnocení podle jejich účelu (hodnocení výkonnosti výzkumu, nebo řízení systému institu-
cionální podpory, nebo obojí) a funkce (formativní, sumativní, nebo obojí). Vyzdvihuje hlavní rysy systémů hodnocení určené podle
specifických potřeb politik v národním kontextu VaVaI a podle pozadí systému pro řízení systému VaVaI, jehož jsou součástí.
• Rakousko a Nizozemsko jsou příklady zemí, kde se hodnocení výzkumu provádí bez zjevného spojení s institucionálním
financováním. V obou zemích je klíčovým cílem hodnocení poskytování informací pro řízení systému institucionálního finan-
cování VaVaI.
• Norsko a Finsko jsou příklady PRFS založeného výhradně na indikátorech (nikoliv jen na bibliometrických údajích). Nicméně
doplňuje široké spektrum dalších národních a institucionálních hodnocení, která poskytují potřebné „formativní“ informace.
Stojí za zmínku, že PRFS ovlivňuje jen rozdělování malé části institucionální podpory.
• Belgie/Vlámsko rozdělují fond BOF pro základní výzkum podle vzorce převážně založeného na bibliometrických údajích (tzv.
klíč BOF). Tento fond je navíc určený pro institucionální podporu a je vázán na příliš striktní výkonnostní smlouvu. Od roku
2008 je klíč BOF používán také pro výpočet části institucionálního financování univerzit. V roce 2011 představoval přibližně
15 % institucionálního financování univerzit.
• V letech 2003 a 2011 prováděla Itálie hodnocení podobné jako ve Spojeném království z hlediska velikosti a hloubky. Jak
Austrálie, tak Itálie používají do jisté míry bibliometrické údaje místo panelového systému, tj. bibliometrické údaje pro exaktní
vědy a peer review hodnocení pro ostatní.
• Švédsko připravuje nový PRFS, který by měl bibliometrické údaje používat pouze jako informace pro panely.
• Spojené království a Nový Zéland jsou podobné v tom, že obě země používají výhradně metodiky hodnocení založené
na peer review. Rozdíl je v tom, že britský REF se zaměřuje na excelenci výzkumu a novozélandský RAE na kvalitu výzkumu.

25. 25Závěrečnázpráva1
Tab.8Hlavnícharakteristikynárodníchsystémůhodnocení
Austrálie
(2014)
Rakousko
(2014)
Belgie(Vl)–
BOF(2014)
Finsko
(2014)
Itálie
(2014)
Nizozemsko
(2014)
NovýZé-
land(2014)
Norsko/
hodnocení
(2014)
Norsko/
PRFS
(2014)
Švédsko
(2014)
Spoj.král.
(2014)
Účel
HodnocenívýkonnostiXXXXXXXXXXX
Informacepro
financování
XXXXXXX
Hlavnífunkce
FormativníXXXXXXX
SumativníXXXX
Formativnífunkce
ŘízenínárodníhoVaVXXXXXX
Řízeníinstitucionálního
financovánísprávaVaV
XXXXXXX
Sumativnífunkce
KvalitaVaVXXXXXXXXXXX
BudováníkapacityVaVXXXXXXXX
Excelenceve výzkumuXX
SpolečenskárelevanceXXXX
Poznámky
Výkonnostní
smlouva
Výkonnostní
smlouva
Výkonnostní
smlouva
Výkonnostní
smlouva
Samostatný
PRFS–jed-
noduchý,10 %
podpory
NovýPRFS
v roce2015

26. 26 Závěrečná zpráva 1
3.2 Rozsah hodnocení
Jedním z prvních kroků při návrhu jakékoliv metodiky hodnocení je identifikace a zaměření rozsahu hodnocení, tj. předmět hodno-
cení a dotčených aktérů.
V následujících částech zvažujeme rozdíly mezi hodnocením na národní a institucionální úrovni, metody, které využívají, a oče-
kávatelné zaměření výsledků hodnocení (podkapitola 3.2.1). Poté popisujeme snahy definovat v mezinárodní praxi typologie VO
(podkapitola 3.2.2) a konečně řešíme malý, ale přesto důležitý prvek návrhu hodnocení, tj. používání hraničních hodnot pro účast
na hodnocení (podkapitola 3.2.3).
3.2.1 Hodnocení na národní versus institucionální úrovni
Hlavním prvkem při rozhodování o návrhu hodnocení, který má pro tuto studii zvláštní význam, je to, zda by hodnocení mělo posu-
zovat výkonnost na institucionální, nebo národní úrovni. To ovlivňuje volbu metod a indikátorů – v závislosti na cílech a tím pádem
potřebách, stejně jako na zaměření a hloubce analýzy konkrétních témat.
Ve stále větším počtu zemí zahrnuje hodnocení na národní úrovni také informace o výkonnosti výzkumných institucí a jejich řízení.
Nicméně hloubka analýzy na národní úrovni je omezenější než při hodnocení prováděném na institucionální úrovni a zaměření hod-
nocení je určeno potřebou strategických informací na národní úrovni stejně jako účelem hodnocení, např. poskytování informací pro
výkonnostní systém financování (PRFS).
• Hodnocení na institucionální úrovni obyčejně mají za cíl pomoci vedení univerzit a výzkumných organizací porozumět
vlastním silným a slabým stránkám a změřit konkurenceschopnost jejich výzkumu na celkové úrovni a na úrovni jejich od-
dělení a výzkumných skupin. Zaměření může být na interní hodnocení kvality, hodnocení procesů řízení lidských zdrojů,
hodnocení interních výzkumných projektů nebo identifikaci excelentních výzkumných skupin – podle potřeby. Výsledky tako-
vých analýz jsou využívány při tvorbě strategie instituce (a v důsledku při rozdělování interních fondů) a pomáhají institucím
s monitorováním a hlášením výstupů a dopadů. Instituce tyto informace používají také k propagačním účelům, např. při
náboru studentů a akademiků, pro pomoc při výzkumných partnerstvích (se soukromými podniky nebo jinými výzkumnými
institucemi) a k iniciování a udržení investic. Z metodického hlediska tato hodnocení obyčejně zahrnují (informovaná) peer
review spojená s návštěvou instituce.
• Hodnocení na národní úrovni mohou mít dvě funkce nebo mohou kombinovat obě dvě: a) sběr informací pro porovnávání
národní výkonnosti na mezinárodní úrovni a b) sběr strategických informací pro definování a monitorování strategií a inter-
vencí výzkumné politiky. Hodnocení, která se zaměřují na druhou variantu, mohou být na úrovni instituce, tématu, nebo oboru
– podle cílů. Hodnocení prováděná v Norsku jsou příkladem druhé varianty (viz podkladová studie Analýza zemí). Používané
metody jsou indikátory a bibliometrie, vzájemná hodnocení, nebo kombinace obojího. Vzhledem k rozsahu hodnocení nebý-
vají součástí peer review hodnocení návštěvy institucí (viz podkapitola 3.3.1).
3.2.2 Typologie výzkumných organizací
VO představují zřejmou jednotku pro hodnocení výkonnosti výzkumu.
V kontextu této studie je identifikace různých typologií VO obzvláště důležitá. To souvisí s účelem hodnocení i s jeho cíli. Jeden
z těchto aspektů musí vzít v potaz rozdíly mezi VO z hlediska jejich „poslání ve společnosti“ (viz podkapitola 2.3).
Z metodického hlediska je zvažování rozdílů v poslání hodnocených subjektů kvůli posouzení výkonnosti běžnou součástí hodno-
ticích praktik. Častým požadavkem při hodnocení iniciativ politiky je vzít v úvahu roli a poslání různých zúčastněných aktérů. Jde
o běžnou praxi v kontextu hodnocení programů; rovněž při hodnocení oborů, jak je to realizováno v Norsku, jsou různí aktéři posuzo-
váni s ohledem na jejich pozici v rámci národního inovačního systému (NIS). Ve všech těchto případech jsou organizace hodnoceny
v závislosti na jejich funkci v systému VaVaI a/nebo NIS a jejich výkonnost je měřena podle příslušných cílů a očekávaných dopadů
– ať již jsou výslovně vyřčeny, nebo nikoliv.
Otázka typologie VO je závažnější u PRFS, tj. při rozdělování institucionální podpory. Podle našeho nejlepšího vědomí neexistuje
PRFS, který by definoval výkonnostní kritéria pro širší spektrum aktérů. Běžný postup je, že pro každou kategorii VO jsou samostatné

27. Závěrečná zpráva 1 27
rozpočty a definována samostatná kritéria a způsoby stanovování institucionální podpory v závislosti na jejich misi. Příkladem může
být opět Norsko, kde je institucionální podpora pro tři různé druhy organizací (instituce VŠ vzdělávání, výzkumné instituce [hlavně
VTO a laboratoře státní správy] a fakultní nemocnice) rozdělována prostřednictvím tří různých PRFS s rozdílnými zásadami financo-
vání (viz Podkladová zpráva 1 – Systémy hodnocení v mezinárodní praxi).
Důvodem je vlastní povaha PRFS, tj. podpora konkrétních cílů příslušných VO. Pro různé aktéry mohou být potřebná různá řešení.
I když jde uplatnit stejná hodnoticí kritéria, váha jednotlivých kritérií by se měla lišit, aby odrážela funkci různých aktérů v systému
VaV. Tato problematika je více rozebrána v Závěrečné zprávě 2 – Zásady institucionálního financování.
V oficiálních statistikách jsou VO seskupené do tří hlavních kategorií: instituce VŠ vzdělávání (IVV), veřejné výzkumné organizace
(představující „vládní“ sektor) a soukromé VO. Tato kategorizace je založená na právní formě organizace.
I pro posuzování společenského poslání výzkumu neuniverzitních VO je taková kategorizace těžko použitelná. Nedávná studie
OECD9
poukázala na velkou rozmanitost aktivit a poslání těchto VO, které sahají od institucí provádějících hraniční výzkum až po in-
stituce s krátkodobým, tržně orientovaným výzkumem a takové, které poskytují znalosti průmyslu, státní správě a dalším aktérům
ve společnosti. Zpráva OECD z roku 2011 také ukazuje, že rozdíl mezi veřejnými a soukromými výzkumnými institucemi podle právní
formy je často daný historickým vývojem v různých zemích, ale nemá vliv na konkrétní obchodní model. Neuniverzitní VO mohou
v různé době a na různých místech nabývat různých právních forem. Některé jsou nadace, jiné společnosti s ručením omezeným,
které nerozdělují své zisky akcionářům. Další jsou asociace, nebo dokonce státní agentury. V některých systémech změnily instituce
právní formu, aniž by se změnila jejich společenská a ekonomická funkce.
Obrázek, který vyplývá ze zprávy OECD z roku 2011, je podobný tomu, který lze spatřit v českém systému VaVaI, jak popisuje pod-
kapitola 2.2.2.
Další rozdíl mezi VO vychází z druhu výzkumu, který provádějí, tj. základní výzkum, aplikovaný výzkum nebo vývoj. V této souvis-
losti varuje Expertní skupina Evropské komise10
před zjednodušováním:
„Rostoucí komplexita znalostí a společnosti odpovídá stírání hranic mezi profesními a klasickými institucemi VŠ vzdělávání
a mezi výzkumem a vývojem. Jednoduché oddělení základního a aplikovaného výzkumu bylo nahrazeno větším důrazem
na strategickou, regionální a/nebo oborovou specializaci. Tato rozmanitost výzkumných poslání se odráží v širokém spektru
výstupů a výsledků výzkumu rozprostřených od objevu přes přenos znalostí až po inovace.“
Jinými slovy, kategorizace VO na škále od základního výzkumu po experimentální vývoj nemůže řádně odrážet situaci, kdy mnohé
VO současně provádějí různé druhy výzkumných aktivit. V tomto kontextu si čeští čtenáři vzpomenou na změnu, která se odehrála
v rámci jejich systému výzkumu během posledních desetiletí – na rostoucí roli univerzit v provádění základního výzkumu.11
Třetím kritériem kategorizace je funkce VO v NIS. Řada studií12
zvolila tento přístup. I OECD a její Pracovní skupina národních
expertů k ukazatelům vědy a technologií (NESTI) zkoumají použitelnost tohoto přístupu pro budoucí statistické účely, aby mohly být
lépe sledovány příspěvky od neuniverzitních VO k vývoji ve výzkumu a inovacích. Zpráva OECD z roku 2011 o veřejných výzkum-
ných organizacích by tedy měla být zařazena do kontextu této práce.
V souhrnu jsou neuniverzitní VO většinou kategorizovány do tří hlavních typologií: vědecké výzkumné instituce, výzkumné a techno-
logické organizace (VTO) a laboratoře státní správy.
Vědecké výzkumné instituce jsou VO jako např. Max Planck instituce v Německu, CNRS ve Francii nebo instituce národních
akademií věd v různých členských státech. Historicky mají některé z nich kořeny ve výzkumných radách a akademiích věd, jež byly
zároveň organizacemi financujícími vědu a provádějícími výzkum. Povětšinou se věnují stejnému druhu výzkumu jako univerzity,
9 OECD (2011), Public Research Institutions – Mapping Sector Trends.
10 Expert Group on Assessment of University-Based Research (2010), Assessing Europe‘s University-Based Research, European Commission, DG Research
11 ARNOLD, Erik. International Audit of the R&D&I System in the Czech Republic – Synthesis report. International Audit of R&D&I in the Czech Republic.
Brighton: Technopolis Group, 2011.
12 Příklady jsou studie, jež sloužily jako hlavní reference v této části, tj.: ÅSTRÖM, Tomas et al. International Comparison of Five Institute Systems.
København: For sknings - og Innovations styrelsen, 2008; ARNOLD, E., BARER, K., SLIPERSAETER, S. Research Institutes in the ERA. Brighton:
Technopolis Group, 2010; ARNOLD, E., CLARK, J., JÁVORKA, Z. Impacts of European VTOs – A Study of Social and Economic Impacts of Research
and Technology Organisations, A Report to EARTO. Brighton:Technopolis Group, 2010.

28. 28 Závěrečná zpráva 1
a proto také získávají velkou část svých příjmů z institucionální podpory. V mnoha částech západní Evropy byly funkce financování
a výkonu funkce výzkumné rady odděleny před několika desetiletími.
Výzkumné a technologické organizace (VTO) se zabývají potřebami průmyslu a poskytují škálu znalostních služeb. Mezi příklady
patří VTT Finsko, Fraunhoferova společnost v Německu nebo TNO v Nizozemsku, ale existují i menší a specializovanější instituce.
Vznikly často jako testovací laboratoře, vývojová pracoviště produktů a procesů pro průmysl nebo pobočkové výzkumné společnosti.
Z pohledu inovačních systémů jsou VTO mezi univerzitním a průmyslovým sektorem a obyčejně nabízejí zprostředkovatelské nebo
interpretační služby pro „přemostění“ mezi těmito dvěma skupinami.
Funkce VTO má kořeny v ekonomice výzkumu a v myšlence, že „tržní selhání“ ztěžuje podnikům investování do obecných forem
znalostí. Typickou rolí VTO je převzít rizika průmyslové inovace a pomoci firmám dostat se dále, než kam by došly prostřednictvím
svých technologií. Protože prvořadým účelem VTO je podporovat konkurenceschopnost průmyslu technologickými prostředky, mo-
hou své aktivity vykonávat, pouze pokud jsou technologicky schopné a mohou firmám nabídnout vstupy, které jsou pokročilejší nebo
jinak lepší než to, co je k dispozici na komerčních trzích znalostí. V praxi odlišuje VTO od běžných konzultantů neustálá potřeba
obnovovat kompetence a schopnosti a také společenské očekávání, že má pracovat se zákazníky, kteří nedosahují výnosů.
Zpráva OECD z roku 2011 a další studie zdůrazňují důležitou roli VTO pro státní inovační a ekonomickou výkonnost vzhledem k je-
jich aktivitám v oblasti tvorby, objevování, používání a rozšiřování znalostí.
Laboratoře státní správy se zaměřují na produkci veřejných statků tak, aby byly naplněny znalostní potřeby státu nebo širší spo-
lečnosti. Někdy jsou nazývané „sektorovými“ institucemi a obyčejně je vlastní stát. Jejich hlavní funkcí je poskytovat státní správě
služby a informace pro potřebu politiky. Mezi příklady patří jaderný výzkum, námořní instituce (které spojují vyčíslování zásob ryb se
základní prací v oblasti mořské biologie) a metrologie. Většina jejich příjmů obvykle pochází od příslušných ministerstev.13
Typickou rolí těchto organizací je provádění základního výzkumu ve strategicky důležitých oblastech (např. jaderný výzkum nebo
veřejné zdraví), podporování státní politiky prostřednictvím výzkumu vedoucímu k prevenci (např. obnovitelných zdrojů nebo potra-
vinové bezpečnosti), navrhování a monitorování politik, podpora ustavování technických norem a standardů a konstrukce, údržba
a provoz klíčových zařízení.
Některé laboratoře státní správy podporují inovace prostřednictvím certifikací, testování, monitorování a měření, nalézání nových
využití pro existující znalosti, propojování vědeckých oborů a zakládání víceoborových znalostních bází (např. genové banky a vě-
decké sbírky se zajištěnou kvalitou).
Zpráva OECD z roku 2011 identifikovala další kategorii neuniverzitních VO – VO, které výzkum provádějí jen jako vedlejší činnost.
Do této kategorie spadají subjekty s významnými cíli v oblasti veřejné služby (např. nemocnice) nebo silným kulturním zaměřením
(např. muzea a knihovny). V některých zemích jsou tyto instituce považovány za integrální součást systému výzkumu nebo infra-
struktury výzkumu (např. na výzkum orientované nemocnice v Itálii a muzea a knihovny v Dánsku).
Zatímco subjekty s významnými úkoly v oblasti veřejné správy mohou být považovány za podkategorii laboratoří státní správy, ty
s kulturním zaměřením jsou většinou brány jako součást systému VaV, protože poskytují infrastrukturu pro výzkum. Představují tedy
čtvrtou kategorii VO.
Výše uvedená kategorizace není dokonalá: zejména větší „národní“ VTO, které ve své zemi hrají důležitou roli v infrastruktuře, mají
několik samostatných poslání. Tyto VTO obyčejně kombinují, např. poradenství státní správě, služby veřejných laboratoří (např.
chemické analýzy, normy a standardy), sledování podmínek (např. monitorování životního prostředí), správu zařízení a strategický
výzkum a smluvní VaV pro podniky.14
V tomto kontextu jsou Instituce VŠ vzdělávání (IVV), včetně fakultních nemocnic, považovány za integrální součást vědecko-vý-
zkumné komponenty systému VaV. Vykonávají řadu rolí a aktivit, mají mnoho odpovědnosti a procházejí napříč různými ekonomic-
kými, politickými a společenskými sítěmi.15
13 SIMMONDS, P. Activities of the EU Member States with Respect to the Reformof the Public Research Base, Report of the ERAWTCH ASBL, Brussels:
European Commission, ERAWATCH service, 2008.
14 Research and Technology Organisations in the evolving European Research Area – a status report with policy recommendations. European Association
of Research and Technology Organisations – EARTO, 2013.
15 MOLAS-GALLAR Jordi et al.MeasuringThird Stream Activities, Final Report to the Russell Group of Universities, SPRU. Sussex: University of Sussex, 2002.

29. Závěrečná zpráva 1 29
Jejich primárním posláním je však vzdělávání, a v tomto kontextu hrají v rámci NIS další roli: vzdělávání budoucích výzkumníků ku
prospěchu výzkumného i průmyslového sektoru. Mnohé vlády a univerzity proto silně podporují propojení výuky a výzkumu coby
jeden z hlavních principů VŠ vzdělávání a prosazují silnější partnerství a výměnu znalostí mezi podniky a akademickou sférou. Pří-
kladem tohoto přístupu je koncept podnikatelské univerzity.
3.2.3 Použití hraničních hodnot
Mluvíme-li o rozsahu systémů pro hodnocení výzkumu, měla by být brána v úvahu velikost jednotky hodnocení, zejména jde-li o mě-
ření podle výstupů výzkumu. Je nutné zohlednit různé faktory:
Za prvé, řádné hodnocení je náročné na čas a zdroje. To platí pro subjekt provádějící hodnocení, protože to znamená, že by mohl být
hodnocen značně vyšší počet hodnocených jednotek, než v případě, že by se pracovalo pouze s těmi, které dosáhly určité velikosti.
Nicméně tento faktor náročnosti na zdroje je ještě podstatnější pro vlastní hodnocené jednotky, zejména pro jednotky menší velikosti.
Pro menší výzkumné skupiny nebo organizace s malými výzkumnými odděleními v určitém oboru mohou zdroje nutné pro sestavení
podání k hodnocení výzkumu potenciálně představovat nepřekonatelnou překážku nebo přinejmenším mohou zpochybnit užitečnost
zapojení do hodnocení.
Zejména v kontextu sofistikovaných systémů hodnocení může přítomnost malých jednotek znamenat problém i pro hodnotitele:
u některých druhů hodnoticích údajů mohou jednotky s nízkými počty výstupů výrazně poškodit robustnost výsledků. To platí pře-
devším v případě metrik a bibliometrie. Bez ohledu na to, jestli je hodnocenou jednotkou instituce, oddělení nebo obor, existuje jisté
minimum pro zachování robustnosti a platnosti. Pod tímto minimem je těžké identifikovat statistické odchylky a jediný výstup může
nepřijatelně zkreslit celkový výsledek.
V případě bibliometrických údajů představuje většinou vhodné minimum pro smysluplnou analýzu 50 výstupů výzkumu. Tento limit
je vždy používán například v CWTS na Leiden University, v jejich bibliometrii, pro provádění hodnocení institucí v celé Evropě.
Mezinárodní praxe vyzdvihuje některé přístupy k minimálním hranicím coby kritériím pro účast na hodnocení – ve většině případů
byly hranice stanoveny podle počtu výstupů výzkumu. Austrálie používá potenciálně zajímavý přístup: ERA2015 definuje hranice
nízkého objemu (50 článků indexovaných v časopisech nebo odpovídajícím způsobem vážené výstupy) na úrovni oboru nebo podo-
boru. Tím se postará o dvě potřeby: menší jednotky dosáhnou hranice na úrovni oboru, ale nikoliv podoboru, kdežto větší jednotky si
mohou přát rozdělení na úrovni podoboru pro účely hodnocení (viz Podkladová zpráva 1 – Systémy hodnocení v mezinárodní praxi).
Je však třeba poznamenat, že řada zemí neuplatňuje hranice pro účast na hodnocení. Důvody jsou prosté:
• Systém VaV je dostatečně koncentrovaný a nemá výrazně velké množství malých jednotek (takže pro hranice není důvod).
• Národní hodnocení se týká jen největších aktérů v systému VaV, typicky univerzit. Ostatní druhy VO jsou hodnoceny zvlášť
(a jinak).
3.3 Způsob hodnocení
V této podkapitole popisujeme tři hlavní způsoby hodnocení výkonnosti výzkumu: peer review, bibliometrické údaje a informované
peer review.
Nejprve se pozastavíme u použití expertních panelů a silných a slabých stránek této metody (podkapitola 3.3.1). Pak zvážíme biblio-
metrii, její využití v mezinárodní praxi a různé přístupy a související otázky (podkapitola 3.3.2). Nakonec zmíníme třetí způsob, který
kombinuje dva předchozí, tj. informované peer review (podkapitola 3.3.3).
3.3.1 Peer review
Existují dobré důvody, proč je hodnocení expertními panely stále preferovaným způsobem v UK RAE/REF a v dalších hodnoceních
výzkumu, například Dutch Standard Evaluation Protocol. Otázky na kvalitu a dopad jsou nejlépe posuzovány odborníky, nikoliv
metrikou. To platí zejména pro schopnost expertních panelů zhodnotit adekvátně výkonnost aktérů v různých vědních oborech
(a podoborech). Kolegové mají potřebné konkrétní znalosti, aby mohli vzít v potaz specifika kultury oborů, jež sahají od publikačních

30. 30 Závěrečná zpráva 1
profilů po potřeby výzkumné infrastruktury, a dále role různých aktérů v systému VaV pro daný obor a umístit je do (mezinárodního)
kvalitativního rámce.
Expertní skupina EK:
„Hodnocení kvality výzkumu vyžaduje podrobné porozumění znalostnímu klastru, aby bylo možné zhodnotit metodický stav
výzkumu a (potenciální) podstatnost jeho dopadu na znalosti. Pouze kolegové mívají takové znalosti, a proto bylo peer review
vždy důležitým nástrojem kontroly kvality.“16
Nicméně s rozmachem systému výzkumu a hodnoticích procedur je peer review pod značným tlakem. Široce diskutovaným prak-
tickým problémem je to, že nárůst počtu požadavků na peer review, které vyžadují poskytovatelé podpory pro výzkum a hodnotitelé
výzkumu, a všeobecný nárůst počtu vědeckých časopisů a publikací klade velké požadavky na kapacitu komunity věnovat se peer
review.
Částečným řešením je hodnocení „vzdáleným“ panelem. Jak zmínila podkapitola 3.2.1, panelové hodnocení je běžnou praxí při
hodnocení institucí. Typicky zahrnují návštěvu instituce jako příležitost pro setkání s managementem organizace a jejími akademiky,
což expertnímu panelu pomůže lépe porozumět prostředí instituce.
Takové využití návštěv se kvůli rozsahu celé akce v případě národního hodnocení, které pokrývá všechna témata a obory, děje jen
zřídka. U jiných hodnocení, včetně hodnocení institucí, začíná stále více zemí využívat hodnocení se „vzdálenými“ panely. Snižuje to
náklady na hodnocení a také časovou zátěž na hodnotitele. Ve většině případů jsou styky mezi experty zachovány kvůli jejich důleži-
tosti při rozhodování, takže se předpokládá určitý (minimální) počet schůzek panelů. Takový přístup zavedli např. v rámci hodnocení
UK RAE/REF, oborových hodnocení v Norsku a pro nově vyvinutý švédský FOKUS.
Ani peer review není bez problémů: je nákladné a časově náročné, náchylné k předpojatosti, nezanechává žádnou kontrolovatelnou
stopu a může být dokonce zneužito. Studie provozovaných hodnoticích panelů17
poukázala na další důležité slabiny:
• Výběr panelů zahrnuje/vyřazuje „myšlenkové školy“.
• Časové limity stanovené organizátory ovlivňují výsledky.
• Tiché dohody a kompromisy ovlivňují rozhodování – neshody mezi kolegy jsou zametány pod koberec.
• Ti, kdo si myslí, že mají méně znalostí, hodnotí kladněji.
• Dělba práce v rámci panelů znamená, že některé posudky provádí jednotlivci, nikoliv panely.
Tyto slabiny lze omezit pomocí procedurálních záruk. Mezinárodní praxi v tomto ohledu popisujeme v podkapitole 3.7.
3.3.2 Použití bibliometrických údajů
Slabiny metody panelů představují přesně ten druh problémů, který se snaží řešit bibliometrie.18
Nicméně v některých oborech vý-
zkumu mohou nastat problémy s dostupností bibliometrických údajů. Neexistuje také žádný konsensus, že by ukazatele založené
na počtech citací vystihly to, co se rozumí pod kvalitou výzkumu.V této souvislosti je vhodné zmínit, že v zemích, kde se používá
PRFS založený na metrice – Vlámsko, Finsko a Norsko (viz Podkladová zpráva 1 – Systémy hodnocení v mezinárodní praxi) – ne-
jsou tyto systémy považovány za hodnocení výzkumu. Jsou doplněny o jiné systémy hodnocení s formativnějším charakterem, které
jsou založené na peer review.
Náš vzorek mezinárodních hodnocení, která poskytují informace pro PRFS, a jejich využití bibliometrických údajů také naznačuje,
že tvůrci politiky obecně nezavádějí sofistikovanější ukazatele, které může měření bibliometrických údajů poskytnout. Naše zjištění
jsou shrnuta níže.
16 Assessing Europe’s University-Based Research. Expert Group on Assessment of University-Based Research. Bruselles: European Commission, DG
Research, 2010.
17 LANGFELDT, L. Expertní panely hodnotící výzkum: rozhodování a zdroj předpojatosti. Research Evaluation, 13 (1), 51-62, 2004.
18 Podrobná profesionální diskuse o možnostech a omezeních využití bibliometrie pro hodnocení výzkumu, viz: MOED H. F, GLÄNZEL W., SCHMOCH,
U. Handbook of Quantitative Science and Technology Research. USA: Kluwer Academic Publishers, 2004; MOED H. F. Citation Analysis in Research
Evaluation Dordrecht: Springer, 2005.