1. newsletter
apríl 2008 | číslo 2 | ročník 2
Editorial téma čísla
Hodnotenie kvality výskumu a akreditácia
ústavov SAV sa uskutočňujú pravidelne od roku
1992. V roku 2005 sa vedenie a zastupiteľské
Komplexná
orgány pracovníkov SAV rozhodli uskutočniť
podrobnejšie a hlbšie hodnotenie výskumnej
práce ústavov SAV. Tento ambiciózny pokus sa
akreditácia ústavov
SAV v roku 2007
uskutočnil v roku 2007. Stál nemálo práce a ná-
mahy. Obdivuhodné je to, že na hodnotení kva-
lity výskumu sa zúčastnili všetky ústavy SAV.
V úvodnom článku tohto čísla ARRA ne-
wslettra podáva Peter Samuely, predseda Akre-
ditačnej komisie SAV, prehľad o histórii hod-
notenia ústavov SAV a o koncepcii komplexnej
akreditácie v roku 2007.
V druhom príspevku predseda Akreditačnej
komisie pre I. oddelenie vied SAV Štefan Olejník
hovorí o niektorých podrobnostiach akreditácie
tohto oddelenia a o výsledkoch.
Sme veľmi radi, že v treťom príspevku Ka-
rol Iždinský, ktorý bol predsedom Snemu SAV
v čase, keď komplexná akreditácia prebiehala,
prezentuje svoj pohľad na akreditáciu. Slová
„pohľad č. 3“ v názve jeho príspevku naznačujú,
že tento pohľad bude trocha iný ako prvé dva
príspevky. Ďakujeme mu za alternatívny pohľad,
pretože takéto pohľady pomáhajú odstrániť exis-
tujúce problémy, stimulujú diskusiu a urýchľujú
vývoj.
Výsledky komplexnej akreditácie a zarade- v čísle nájdete
Komplexné hodnotenie kvality
nie ústavov do skupín A*, A, B sa prejavia aj na
financovaní jednotlivých ústavov. Každý mana-
žér vie, že táto úloha sa rieši oveľa ľahšie v situ-
ácii, keď do systému pritekajú nove prostriedky,
ako keď sú prostriedky prakticky konštantné, a vedeckých organizácií SAV
pritom veľmi obmedzené. autor: Peter Samuely
Rozsah príspevkov v tomto čísle ARRA ne-
wslettra je taký, aký zvyčajne v jednom čísle býva. strana 2
Dúfame, že sa nám podarí získať aj príspevky o
komplexnej akreditácii II. a III. oddelenia vied Názory a komentáre
SAV a uverejníme ich čo najskôr po obdržaní v
čísle venovanom týmto oddeleniam. Akreditačné hodnotenie vedeckých organizácií I. oddelenia vied
V roku 2007 sa uskutočnila aj evalvácia ve- SAV: Stálo to vôbec za to?, Štefan Olejník strana 5
rejných vysokých škôl na Slovensku Európskou
asociáciou univerzít. Výsledky boli zverejnené Akreditačné hodnotenie vedeckých organizácií SAV v
začiatkom roku 2008. Bude zaujímavé porovnať
roku 2007 – pohľad č. 3, Karol Iždinský strana 8
metodiku obidvoch hodnotiacich postupov a
radi uverejníme príspevky k tejto tematike.
Ján Pišút
2. Komplexné hodnotenie
uverejnila v roku 2006 aj prvé hodno-
tenie ústavov SAV z oblasti prírodných,
technických, lekárskych a pôdohospodár-
kvality vedeckých skych vied a ich porovnanie s najlepšími
fakultami slovenských VŠ a v súčasnosti
pripravuje ďalšie. Bude zaujímavé porov-
organizácií SAV v roku 2007 nať výsledky prístupu ARRA, založeného
na sledovaní niekoľkých vybraných para-
metrov (databázové publikácie a citácie,
grantové zdroje, doktorandské štúdium) s
komplexným hodnotením SAV, ktoré pra-
doc. RNDr. Peter Samuely, DrSc. covalo s mnohonásobne bohatšou bankou
údajov, ale pri jej hodnotení muselo zá-
predseda Akreditačnej komisie SAV konite uplatniť subjektívny pohľad posu-
dzovateľov a členov komisií (peer review).
Vo svete sú bežné odborné porovnávacie
Hodnotenie kvality výskumu a následná akreditá- štúdie takýchto dvoch krajných prístupov
hodnotenia, ktoré sú veľmi užitočné naj-
cia prebieHajú v slovenskej akadémii vied od r. 1992 mä pri vylepšovaní metodiky hodnotenia.
každé tri-štyri roky. sav týmto pravidelným spô-
sobom Hodnotí kvalitu svojicH ústavov a snaží Zmeny oproti minulosti
sa skvalitňovať icH prácu a vytyčovať úloHy do Hodnotenie kvality výskumu a násled-
ná akreditácia 1 prebiehajú v Slovenskej
budúcnosti. akadémii vied od r. 1992 každé tri-štyri
roky. Predsedníctvo SAV, ktoré nastúpilo
Slovenská akadémia vied je spolu s výskumu, na celkovú politiku krajiny v do funkcie v r. 2005, sa rozhodlo doterajší
vysokými školami hlavným reprezentan- oblasti výskumu, vývoja a inovácií. Spo- systém hodnotenia výskumu v SAV inovo-
tom základného a sčasti aj aplikovaného medzi krajín porovnateľných veľkosťou vať a uskutočniť komplexnú akreditáciu,
výskumu na Slovensku. Pre organizácie so Slovenskom možno spomenúť Fínsko zameranú na všetky aspekty výskumu svo-
takéhoto typu, čerpajúce na svoju čin- s jeho rešpektovanou agentúrou TEKES jich organizácií, zahŕňajúcu aj úroveň ma-
nosť prostriedky z verejných zdrojov, je (http://www.tekes.fi/eng/tekes/). Veľmi nažmentu. Nové zásady hodnotenia boli
hodnotenie kvality výskumu mimoriadne ďaleko je tiež Rakúsko, kde sa vednými vypracované Predsedníctvom SAV a jeho
potrebné. Vnútri hodnotenej organizácie politikami, vrátane hodnotenia, zaoberá pomocným orgánom Akreditačnou ko-
pomáha zistiť jej miesto v domácom aj viacero organizácií, ako FWF – Austrian misiou SAV, za účasti členov Snemu SAV,
európskom výskumnom priestore. Navo- Science Fund (www.fwf.ac.at), Platform a boli schválené Snemom SAV v r. 2006.
nok môže odpovedať na celý rad otázok, fteval – Platform Research and Techno- Doteraz najkomplexnejšia akreditácia
ktoré si kladú (veríme) tí, ktorí verejné logy Policy Evaluation (www.fteval.at) a všetkých 56 vedeckých organizácií SAV
zdroje spravujú, tí, ktorí chcú budovať pod. Bohužiaľ, v SR zatiaľ neexistuje veľ- prebehla v roku 2007. Pri vypracovaní
vedomostnú spoločnosť, a teda efektívne mi potrebný jednotný národný protokol nového systému hodnotenia sa SAV opie-
investovať do výskumu a vývoja. Podobne alebo postup, ktorým by sa kvalita výsku- rala o svoj doterajší systém, ale aj o skú-
ako v iných verejných sektoroch, aj tu sa mu a vývoja v jednotlivých organizáciách senosti z iných krajín EÚ. Inšpirovala sa
objavuje otázka, či predtým, ako sa doň hodnotila podľa rovnakého metra. Tento britským systémom (Research Assessment
alokujú oveľa vyššie zdroje, už celý sek- stav komplikuje možnosť vytvoriť si kom- Exercise), holandským Štandardným eva-
tor (VŠ, SAV, rezortný výskum) prešiel plexný obraz o stave a kvalite výskumu, luačným protokolom a hodnotením Aka-
vhodnou systémovou reformou a pod. V ale aj univerzitného štúdia (minimálne démie vied ČR.
krajinách OECD, ktoré majú rozhodujú- jeho tretieho stupňa) v SR. V súčasnosti
ci podiel na výskume, vývoji a zavádzaní sa v pripravovaných dokumentoch Minis- Základné inovácie boli nasledujúce:
inovácií vo svetovom hospodárstve, sa terstva školstva SR, resp. v pripravovanej 1) Hodnotenie prebehlo naraz vo
hodnoteniu efektívnosti výskumu a vývo- novelizácii zákona o podpore výskumu a všetkých organizáciách SAV, berúc do
ja venujú značné kapacity. V tejto oblasti vývoja jednotný systém hodnotenia znovu úvahy výsledky rokov 2003 až 2006, teda
pracuje niekoľkotisíc odborníkov. Hod- spomína. Takéto snahy boli aj v minulos- štvorročné obdobie. To prinieslo zvýšené
notenie výskumu a vývoja vo všetkých ti, ale z rôznych dôvodov sa nenaplnili. nároky na organizáciu a logistiku procesu,
aspektoch je dnes dokonca samostatnou Aktivity súkromnej Akademickej rankin- ktorý v minulosti prebiehal po častiach.
vednou disciplínou s prestížnymi kon- govej a ratingovej agentúry (ARRA) po- (Ročne sa hodnotila asi tretina organizá-
ferenciami (pozri napr. http://www.pra- važujem tiež za užitočný pokus priniesť cií, čo prinášalo riziko, že jednotný štan-
gueforscience.cz/) a bohatou literatúrou. jednoduchý, objektívne merateľný systém 1
Pod akreditáciou sa tu myslí proces vedúci
Výsledky prepracovaného systému hod- hodnotenia kvality výskum a vývoja na k oprávneniu (akreditívu) danej organizácie
notenia na národnej úrovni majú rozho- Slovensku. Po hodnotení slovenských vy- vykonávať výskum z verejných zdrojov, na čo je SAV
dujúci vplyv na prideľovanie zdrojov do sokých škôl (prebehlo už trikrát) ARRA ako celok zo zákona oprávnená, ale jej organizácie
sa musia „akreditovať“, resp. „re-akreditovať“.
2 ARRA newsletter | apríl 2008
3. dard sa mohol v priebehu rokov meniť.) podrobne špecifikovaných do mnohých hodnotení. AKOV aj posudzovatelia pra-
2) Zvýšila sa špecializácia hodno- podpoložiek v excelovskom databázovom covali s akreditačnými dotazníkmi (väčši-
tiacich komisií a dôraz na autonómiu súbore Questionnaire 3, ktorý obsahoval nou v anglickom jazyku) a s výročnými
odlišných skupín vied. V novom systéme tiež základné informácie o hodnotenej správami ústavov. Keďže posudzovatelia
vznikli tri hodnotiace akreditačné komisie organizácií, jej organizačnej a personál- na rozdiel od členov AKOV posudzova-
(AKOV), zamerané na tri oddelenia vied nej štruktúre, financovaní a pod. Orga- li len jednu organizáciu, ich referenčné
SAV, pre vedy o neživej prírode, o živej nizáciou vyplnený dotazník umožňoval hladiny, resp. nároky boli zákonite rôzne.
prírode a pre spoločenské a humanitné pomerne podrobnú analýzu a normova- Preto úloha konsenzuálneho panelu, a
vedy. Tri oddelenia vied ešte delia organi- nie údajov. Jeho súčasťou bola tiež vízia teda aj záverečné hodnotenie organizácie
zácie do troch vedných pododborov 2: organizácie na ďalšie obdobie. Ďalšie in- pripadlo AKOV, pričom posudky posu-
I. oddelenie vied o neživej prírode: formácie o hodnotenej organizácii boli dzovateľov boli pre AKOV významným
vedy o Zemi a vesmíre; matematicko-fyzi- získané zo 4 výročných správ za jednotli- ukazovateľom. Na základe celkového hod-
kálne vedy a informatika; technické vedy, vé roky hodnoteného obdobia. Dotazník notenia AKOV navrhla zaradenie vedeckej
II. oddelenie vied o živej prírode a aj výročné správy boli verejne prístupné organizácie do jedného z piatich stupňov
chemických vedách: lekárske vedy; biolo- na webovskej stránke organizácií SAV, čo výkonnosti:
gické a chemické vedy; poľnohospodárske umožňovalo nielen jednoduchý prístup,
a veterinárne vedy, ale aj kontrolu zverejnených údajov. Organizácia akreditovaná v kategórii A*
III. oddelenie vied o spoločnosti a kul- (80 % bodov a viac)
túre: vedy o dejinách; vedy o človeku a Jednotlivé ukazovatele sa hodnotili na- Vynikajúca organizácia, v ktorej väč-
spoločnosti; vedy o kultúre a umení. sledujúcimi stupňami: šia časť výskumu spĺňa medzinárodný
Úlohou AKOV bolo zohľadňovať aj vynikajúco – 4 body, štandard. AKOV v takom prípade vydáva
špecifiká vedných pododborov. veľmi dobre – 3 body, návrh na zaradenie organizácie s hodno-
3) Viac ako tretinu členov komisií dobre – 2 body, tiacim protokolom bez podstatných pri-
AKOV tvorili odborníci mimo SAV. dostatočne – 1 bod, pomienok k činnosti organizácie a úloh
nedostatočne – 0 bodov. na ďalšie obdobie.
Jedným z rozhodujúcich faktorov ino-
vovaného systému hodnotenia bola po- AKOV mali možnosť stanoviť si váhu Organizácia akreditovaná v kategórii A
žiadavka, aby každá samostatná vedecká jednotlivých ukazovateľov v záverečnom (60 % bodov a viac)
organizácia, bez ohľadu na jej vedné zame- hodnotení. AKOV-I pridelil všetkým Veľmi dobrá organizácia s niektorými
ranie, zdokumentovala plnenie siedmich siedmim ukazovateľom rovnakú váhu, no výskumnými skupinami na medzinárod-
ukazovateľov, resp. siedmich „vitálnych AKOV-II a AKOV-III preferovali ukazo- nej úrovni. AKOV v takom prípade vydá-
činností“, ktorými si zabezpečuje miesto vatele základného výskumu, najmä rozsah va návrh na zaradenie organizácie s hod-
v slovenskom a európskom výskumnom a kvalitu publikačnej činnosti. AKOV sa notiacim protokolom, v ktorom uvedie
priestore. Úlohou troch 12-členných tiež pokúsili stanoviť orientačné požia- pripomienky k činnosti organizácie.
AKOV bolo vyhodnotiť organizáciu podľa davky v jednotlivých ukazovateľoch na
týchto siedmich ukazovateľov. stupeň „dobre“, pričom mali k dispozícií Organizácia akreditovaná k kategórii B
rôzne analýzy, ako sú napr. mediány im- (40 % bodov a viac)
Sedem základných ukazovateľov: pakt-faktorov svojich vedných odborov Organizácia s prevažne dobrými ve-
1. hodnotenie počtu a kvality vedec- a pododborov (zo zdrojov, ako je Web of deckými výsledkami, ktoré ale nedosa-
kých publikácií, Science) a pod. hujú medzinárodný štandard. AKOV v
2. hodnotenie ohlasov na vedecké Keďže 12 odborníkov, členov AKOV, takom prípade vydáva návrh na zaradenie
publikácie (tieto údaje sú prístupné z nepokrylo všetky vedné odbory v hod- organizácie s hodnotiacim protokolom, v
medzinárodných databáz, ako je Web of notených organizáciách, mala každá or- ktorom uvedie výhrady k činnosti organi-
Science), ganizácia od AKOV pridelených troch zácie formou pripomienok a konkrétnych
3. dokumentovanie postavenia organi- posudzovateľov-špecialistov. Minimálne úloh, ktoré musí organizácia splniť do
zácie v európskom kontexte, dvaja z týchto posudzovateľov boli zo za- ďalšieho pravidelného hodnotenia.
4. získavanie grantových prostriedkov, hraničia, pričom jeden bol z krajín V4 a
najmä z medzinárodných a zahraničných jeden zo „starých“ krajín Európskej únie. Organizácia akreditovaná v kategórii C
zdrojov, Posudzovatelia vypracovali písomné po- (20 % bodov a viac)
5. výchova doktorandov a pedagogický sudky do jednotne koncipovaného for- Organizácia s prevažne slabými vedec-
proces, mulára, vyjadrili sa v nich k jednotlivým kými výsledkami. AKOV v takom prípade
6. aplikácie výsledkov v praxi a popu- ukazovateľom s cieľom zaradiť organizácie vydáva návrh na zaradenie organizácie s
larizácia, do európskeho rebríčka kvality. Vzniklo hodnotiacim protokolom, v ktorom uve-
7. manažment a rozvoj vlastnej in- tak 168 štruktúrovaných posudkov pre die výhrady k činnosti organizácie for-
fraštruktúry. 56 posudzovaných organizácií, ktoré boli mou pripomienok a konkrétnych úloh,
Sedem základných ukazovateľov bolo východiskom AKOV pri kvalifikovanom ktoré musí organizácia plniť pred ďalším
pravidelným hodnotením. AKOV postúpi
2
Medzinárodne uznávaný Frascati manuál klasi- 3
Slovenskú verziu dotazníka možno nájsť na návrh na zaradenie s hodnotiacim proto-
fikuje 6 základných vedných odborov a 20 podod- adrese http://www.sav.sk/uploads/d0070806865/ kolom P SAV a odporučí ďalší postup.
borov. Quest_sk.pdf
ARRA newsletter | apríl 2008 3
4. Organizácia neakreditovaná – kategória SAV, ktoré ich akceptovalo a zaslalo hod- podrobne kvantifikované (počty CC pub-
D (menej ako 20 % bodov) noteným organizáciám spolu s podrobný- likácií, počty autorských hárkov v mo-
Organizácia, ktorá neplní úlohy ulo- mi protokolmi, ktoré obsahovali analýzu nografiách, počty citácií, počty vysoko
žené zriaďovacou listinou. AKOV v ta- výsledkov a návrhy na prípadné zmeny. citovaných publikácií, získané projektové
kom prípade vydáva návrh na zaradenie zdroje a pod., a toto všetko v rôznych nor-
organizácie s hodnotiacim protokolom, v V priebehu októbra 2007 mali orga- movaniach: per capita, na mzdový fond a
ktorom uvedie dôvody neodporúčať pod- nizácie možnosť odvolania sa voči výsled- pod.). Takáto kombinácia mala zaručiť čo
porovanie ďalšej činnosti organizácie. kom hodnotenia. Organizácie zaslali cel- najväčšiu objektívnosť výsledku. Samo-
kovo 8 odvolaní. Akreditačná komisia sa zrejme, nastavenie systému malo mnoho
V priebehu dvoch mesiacov, od 15. s AKOV dohodli na jednotnom postupe voľných parametrov a jeho výsledný tvar
mája do polovice júla 2007, prebehli pre- pri prerokovaní odvolaní. Tento postup bol kompromisom vzniknutým v mno-
zenčné hodnotenia všetkých organizácií. akcentoval najmä potrebu prerokovať tie hých diskusiách v P SAV, Sneme SAV a
Na hodnoteniach sa zúčastnili členovia základné ukazovatele, v ktorých sa hod- jeho komorách, AK SAV, ale aj na špeciál-
akademickej obce hodnotenej organi- notená organizácia cítila nedocenená, a nych fórach k tomu zvolaných v prípravnej
zácie, členovia AKOV, posudzovatelia, zvážiť, či existujú relevantné argumenty, fáze. V takej zložitej a kontroverznej zále-
zástupcovia oddelení vied a Snemu SAV. na ktoré AKOV nebrala ohľad už pri pô- žitosti, ako je hodnotenie kvality vedeckej
Hodnoteniu väčšiny organizácií bol ve- vodnom hodnotení. Pri tomto postupe sa práce, je vždy mnoho protichodných ná-
novaný jeden deň. Napriek náročnosti ukázala vysoká konzistentnosť postojov zorov. Z mnohých sporných otázok spo-
celej akcie sa dosiahla vysoká účasť, ktorá AKOV, ktoré po veľmi podrobnom prero- meniem len jeden príklad: spojenie popu-
svedčí o veľkom záujme o hodnotenie v kovaní odvolaní trvali na svojom pôvod- larizačných aktivít a aplikácií do jedného
radoch všetkých zainteresovaných. Účasť nom stanovisku v 7 odvolaniach. Jedine v ukazovateľa. V prospech tohto spojenia sa
členov AKOV bola 77 % a účasť posudzo- prípade odvolania sa Ústavu ekológie lesa argumentovalo tým, že každá organizácia
vateľov zo všetkých kútov Európy až 84 SAV, AKOV-II zvýšila hodnotenie v uka- musí ukázať „daňovému poplatníkovi“
%. V priebehu júla a augusta 2007 AKOV zovateli „2. Ohlasy na vedecké publiká- svoju užitočnosť. Ak má možnosť, dokáže
vyhodnotili celý proces. Navrhli zaradiť cie“, čo viedlo následne k návrhu zaradiť to cez aplikáciu svojich výsledkov v praxi,
organizácie do troch z piatich možných ústav do kategórie A. Poznamenávam, že ak nie, tak popularizáciou svojej hlavnej
výkonnostných stupňov a vypracovali tento ústav bol zo všetkých hodnotených vedeckej činnosti. V neprospech spojenia
podrobné hodnotiace protokoly, ktoré ústavov SAV najbližšie ku hranici medzi sa uvádzalo, že ide o málo porovnateľné
deklarujú silné a slabšie stránky organizá- kategóriami. činnosti, popularizovať sa požaduje od
cie a navrhujú prípadné zmeny. každého, ale absencia aplikácií sa nieko-
P SAV po odvolaniach rozdelilo or- mu jednoducho a ľahko „odpustí“ kvôli
Ku konkrétnym výsledkom: AKOV ganizácie SAV takto: jeho zameraniu.
rozdelili 56 vedeckých organizácií SAV do A*: 15 organizácií Mimoriadne náročný problém v celom
3 výkonnostných kategórií. Skonštatovali, A : 33 organizácií svete predstavuje hodnotenie spoločen-
že po dôkladnej reforme, vrátane zrušenia B : 8 organizácií ských a humanitných vedných disciplín.
desiatich organizácií v deväťdesiatych ro- Tie – na rozdiel od prírodných, technic-
koch minulého a začiatkom tohto storo- Finančné dopady akreditácie kých, či lekárskych vied –nemajú ani zďa-
čia, nie sú už v SAV organizácie, ktoré by Predsedníctvo SAV zohľadní výsledky leka tak podrobne rozvinutý databázový
nemohli súťažiť v európskom výskumnom komplexného hodnotenia vo finančnej systém, akými sú Web of Knowledge či
priestore. bonifikácii úspešnejších organizácií. Po Scopus, ktoré sú skôr „šité“ na hodno-
schválení Zásad rozdelenia rozpočtu SAV tenie vyššie spomínaných odborov. Ako
Komisie dospeli k záveru, že: pre rok 2008 Snemom 19. 12. 2007 sa malý bonmot poznamenávam, že samot-
- 15 organizácií možno označiť ako or- počíta so zvýšením mzdového fondu ústa- né hodnotenie vedeckej činnosti je oveľa
ganizácie kategórie A*; vu kategórie A* o sumu do 4 %, čo zod- viac spoločenská než prírodovedecká dis-
- 32 organizácií patrí do kategórie A; povedá jednej ročnej valorizácii vo verej- ciplína, čo nepochybne skomplikuje jeho
- 9 organizácií patrí do kategórie B. nom sektore, so zvýšením prideľovaných „metaanalýzu“. Ale nič iné nám neostáva,
bežných výdavkov na tovary a služby o 10 ako sa s touto úlohou vyrovnať. Prišiel čas
Činnosť troch komisií AKOV koor- až 20 % a s priorizáciami v kapitálových celý systém vyhodnotiť. AKOV spracova-
dinovala centrálna Akreditačná komisia, zdrojoch. li veľké množstvo údajov a analýz, ktoré
zložená z vybraných členov AKOV, pri- ponúkajú do diskusie. Tá by mala uká-
čom jej predsedom bol člen Predsedníc- Analýza systému komplexného hod- zať, nakoľko je použitý systém robustný,
tva SAV zodpovedný za priebeh celého notenia t. j. ako je celkový výsledok toho-ktoré-
hodnotiaceho a akreditačného procesu. Komplexné hodnotenie kvality ve- ho hodnoteného pracoviska odolný voči
Úlohou AK SAV okrem vypracovania ce- deckých organizácií SAV v r. 2007 bolo zmene v systéme, spojeniu, či rozdeleniu
lej metodiky bolo tiež dohliadať na do- založené na kombinácii dvoch prístupov, niektorého parciálneho parametra a pod.
držanie rovnakej náročnosti hodnotenia tzv. peer review, teda posudku kvalifiko- O čo bude záujem vedeckých pracovníkov
vo všetkých troch vedeckých oddeleniach vaných kolegov (členov AKOV a posu- o takúto diskusiu väčší, o to bude užitoč-
SAV. AK podporila návrhy jednotlivých dzovateľov), a hodnotení 7 parciálnych nejšia a o to viac môže poslúžiť zlepšova-
AKOV a predložila ich na schválenie P ukazovateľov, pričom niektoré z nich boli niu vedeckej kultúry v celej spoločnosti.
4 ARRA newsletter | apríl 2008
5. Akreditačné hodnotenie
dobre“) mal zodpovedať medzinárodnému
štandardu. Ich hodnotenie bolo v priemere
veľmi vysoké (3,11) a malo len malý rozptyl
vedeckých organizácií
(od 2,75 po 3,33). Komisia tak profitovala
oveľa viac zo slovných komentárov a pripo-
mienok posudzovateľov ako z číselných hod-
I. oddelenia vied SAV:
notení. Pri príprave pravidiel akreditácie bola
diskutovaná otázka, či by posudzovatelia ne-
mali navštíviť hodnotené ústavy ešte pred na-
písaním svojho posudku. Komisia však veľmi
Stálo to vôbec za to? často získala užitočné postrehy o činnosti or-
ganizácií práve od tých posudzovateľov, ktorí
s organizáciami nemali v minulosti žiadnu
skúsenosť a hodnotili dosiahnuté výsledky a
plány do budúcnosti iba na základe akredi-
tačných podkladov a vlastných predstáv. Prí-
padné nepresnosti v posudkoch, ktoré boli
Štefan Olejník zapríčinené nedostatočnou znalosťou reálnej
Fyzikálny ústav SAV situácie výskumu v SR, boli prediskutované
počas návštevy pracovísk.
a predseda Akreditačnej komisie I. OV SAV Prezenčné hodnotenia vedeckých orga-
nizácií I. OV SAV sa uskutočnili v období
od polovice mája do júla 2007. V 12 z 15
ústavov boli na prezenčných hodnoteniach
“akreditácia vedeckýcH organizácií sav v roku prítomní všetci traja posudzovatelia, vo zvyš-
2007 si vyžiadala nemalé úsilie všetkýcH zain- ných 3 ústavoch boli prítomní po dvaja po-
sudzovatelia. Vysoká bola aj prezencia AKO-
teresovanýcH: členov akreditačnýcH komisií, V-I na zasadnutiach. Účasť členov s právom
posudzovateľov, predsedníctva sav, manažmentu hlasovacím bola v priemere takmer 78-per-
a pracovníkov HodnotenýcH organizácií. stála centná. Komisia sa podrobne oboznámila s
činnosťou organizácie, navštívila vybrané od-
tiež nemalé finančné prostriedky. výsledky Hod- delenia, pracoviská a/alebo laboratóriá, dis-
notenia v i. oddelení vied sav sa pritom výrazne kutovala s vedením organizácií, pracovníkmi
nelíšia od týcH, ktoré vzišli z predcHádzajúcej a posudzovateľmi. Špeciálna pozornosť bola
venovaná diskusii, keď posudzovatelia použili
akreditácie. otázka v nadpise je teda na mieste. odlišnú referenčnú úroveň a ich hodnotenia
analýzou výsledkov v i. oddelení vied sav sa sa výrazne líšili.
pokúsim zHromaždiť niekoľko argumentov pre Vzhľadom na malý rozptyl v hodnote-
niach posudzovateľov dôležitú úlohu pri
kladnú odpoveď.” hodnotení organizácií zohrala AKOV-I. Pri
záverečnom hodnotení komisia vychádzala:
Hodnotenie vedeckých organizácií I. OV I. Priebeh a výsledky hodnotenia 1. zo štandardizácie jednotlivých parciál-
SAV prebehlo podľa ustanovení „Zásad pra- Jedným z hlavných podkladov k akre- nych indikátorov,
videlného hodnotenia organizácií SAV“. Tie ditačnému hodnoteniu boli jednotné akre- 2. z posudkov externých posudzovateľov,
sa nerodili ľahko, peripetie ich vzniku, ako aj ditačné dotazníky. Tie spoločne s textami z ich bodového a slovného hodnotenia,
pravidlá akreditácie boli načrtnuté v príspev- záverečných správ za jednotlivé roky hodno- 3. z vlastných poznatkov z návštev v ústa-
ku predsedu AK SAV doc. Samuelyho. teného obdobia poskytli posudzovateľom a voch a z diskusií s posudzovateľmi,
I. oddelenie vied SAV – oddelenie vied o komisii informácie o činnosti hodnotených 4. z komplexného porovnania podkladov
neživej prírode – tvorí 15 vedeckých organi- organizácií. Pre každú organizáciu boli vybra- v akreditačných dotazníkoch.
zácií, ktoré spadajú do troch skupín: vedy o tí traja posudzovatelia: jeden bol z vedeckého Vzhľadom na odlišný charakter výskumu,
Zemi a vesmíre, matematicko-fyzikálne vedy pracoviska na Slovensku, jeden z krajín tzv. publikačné zvyklosti a možnosti, možnosti
a informatika, technické vedy. Organizácie Višegrádskej štvorky okrem SR (t. j. z Českej získavania prostriedkov z externých zdrojov
hodnotila Akreditačná komisia I. OV SAV republiky, Maďarska alebo Poľska) a jeden z v troch skupinách vied I. OV sa komisia tiež
(AKOV-I), ktorú tvorili 8 pracovníci z ústa- pôvodných („starých“) krajín Európskej únie usilovala prihliadať na špecifiká jednotlivých
vov I. OV a 4 externí členovia (po jednom z (mimo V4). V dvoch prípadoch bol miesto vedných odborov.
STU v Bratislave, TnUAD v Trenčíne, TU slovenského posudzovateľa vybratý posudzo- Bodovanie jednotlivých parciálnych in-
a UPJŠ v Košiciach), pričom každá skupina vateľ z ČR. dikátorov činnosti vedeckých pracovísk sa
vied mala v AKOV-I po 4 zástupcoch. Ex offo Posudzovatelia mali hodnotiť bodmi od uskutočnilo po skončení všetkých prezenč-
boli členmi bez hlasovacieho práva podpred- 0 po 4 iba parciálne indikátory č. 1 až 4 (po- ných hodnotení v ústavoch na zasadnutí
seda SAV pre I. OV a predseda I. komory zri príspevok doc. Samuelyho alebo nadpisy AKOV-I v júli 2007. Výsledky zhŕňa tabuľka
Snemu SAV. stĺpcov v tabuľke 1), pričom stupeň 3 („veľmi 1 a obrázok 1.
ARRA newsletter | apríl 2008 5
6. Výsledky bodovania
Pri pozornom pohľade na obrázok by Obrázok 1. Výsledky bodovania
malo byť zrejmé, že v rozdelení ústavov sa pri- 0,00 20,00 40,00 60,00 80,00 100,00
rodzene črtajú tri skupiny, ktoré zodpovedajú Fyzikálny ústav
zaradeniu do stupňov A* (spolu 5 ústavov), A Elektrotechnický ústav
(6 ústavov) a B (4 ústavy). Z tohto rozdele- Ústav experimentálnej fyziky
nia sa mierne vymykajú iba dva ústavy: geo- Matematický ústav
logický medzi 1. a 2. skupinou a geofyzikálny Astronomický ústav
blízko hranice medzi 2. a 3. skupinou. Geologický ústav
AKOV-I po hodnotení tiež vypracovala Ústav materiálov a mechaniky strojov
Ústav materiálového výskumu
hodnotiace protokoly, v ktorých zhrnula bo-
Ústav stavebníctva a architektúry
dové a sformulovala stručné slovné hodnote-
Ústav informatiky
nie všetkých ústavov, ďalej celkové hodnotenie
Ústav geotechniky
a – podľa zaradenia ústavu do akreditačného
Geofyzikálny ústav
stupňa – zoznam odporúčaní, pripomienok
Geografický ústav
alebo konkrétnych úloh, ktoré by sa mali re-
Ústav merania
alizovať do ďalšieho hodnotenia.
Ústav hydrológie
AK SAV postúpila návrhy na zaradenie
% max. počtu bodov
organizácií do hodnotiacich stupňov spoloč-
ne s hodnotiacimi protokolmi Predsedníctvu Tabuľka 1. Výsledky bodovania parciálnych indikátorov
Ústavy I. OV sú zoradené podľa abecedy, skratka v zátvorke označuje skupinu: ZV – vedy o Zemi a vesmíre, MFI –
SAV, ktoré ich schválilo na zasadnutí dňa 2. matematicko-fyzikálne vedy a informatika, TV – technické vedy. Žltá farba zvýrazňuje hodnotenie zodpovedajúce
10. 2007. Proti svojmu zaradeniu sa v sta- kategórii A*, bledožltá kategórii A, bledošedá kategórii B, šedá kategórii C.
novenom termíne odvolal iba jediný ústav I. 1 2 3 4 5 6 7
OV, jeho odvolanie však P SAV zamietlo.
Spoločenské výstupy (aplikácie,
Projektová štruktúra, výskumné
medzinár. a domácom kontexte
Organizácia doktorand. štúdia,
Infraštruktúra a manažment
Ohlas vedeckých výstupov
granty a iné zdroje financií
Vedecké postavenie v
iné pedagog. aktivity
II. Analýza výsledkov hodnotenia
Akreditačný stupeň
Vedecké výstupy
% z max. počtu
popularizácia)
Užitočné a poučné je podrobiť výsledky
bodovania komisie podrobnejšej analýze.
Spolu
Takáto analýza vždy predstavuje určitú hru
s číslami a vyžaduje si ich osobnú interpre-
táciu, usiloval som sa však, aby závery boli
podložené dostatočne presvedčivými argu-
mentmi.1 Organizácia I. OV SAV
Z analýzy výsledkov vyplynulo viacero Astronomický ústav (ZV) 3,55 3,18 3,18 2,64 2,82 4,00 3,55 22,91 81,82 A*
Elektrotechnický ústav (TV) 3,82 3,55 3,73 4,00 3,36 2,82 3,64 24,91 88,96 A*
zaujímavých skutočností:
Fyzikálny ústav (MFI) 3,91 4,00 3,73 3,82 3,09 3,18 3,27 25,00 89,29 A*
1. Žiaden ústav nepatrí všetkými indiká- Geofyzikálny ústav (ZV) 1,64 2,09 2,27 2,64 2,55 3,09 2,27 16,55 59,09 B
tormi do rovnakej kategórie, aj organizácie Geografický ústav (ZV) 2,09 1,73 2,36 1,55 1,91 3,00 2,73 15,36 54,87 B
s výsledným hodnotením A* majú rezervy a Geologický ústav (ZV) 3,00 3,55 3,09 2,82 2,82 2,91 3,00 21,18 75,65 A
dosahujú aspoň v jednom indikátore iba úro- Matematický ústav (MFI) 3,82 3,55 3,36 2,45 3,91 3,00 3,09 23,18 82,79 A*
veň A; naopak, ústavy zaradené do stupňa B Ústav experimentálnej fyziky (MFI) 3,91 4,00 3,73 3,45 3,27 2,91 3,27 24,55 87,66 A*
vo viacerých indikátoroch dosahujú vyššiu Ústav geotechniky (TV) 2,45 2,55 2,00 3,27 2,82 2,00 2,55 17,64 62,99 A
Ústav hydrológie (ZV) 1,91 1,55 2,09 2,64 2,18 2,27 2,45 15,09 53,90 B
úroveň. Výsledné zaradenie zodpovedá zara-
Ústav informatiky (MFI) 1,91 1,55 3,00 3,82 2,36 2,64 2,82 18,09 64,61 A
deniu vo väčšine parciálnych indikátorov.
Ústav materiálov a mechaniky strojov (TV) 2,09 2,36 2,82 3,82 2,27 2,91 3,00 19,27 68,83 A
2. V jednotlivých parciálnych indikáto- Ústav materiálového výskumu (TV) 2,73 2,36 2,82 2,91 2,73 2,55 2,82 18,91 67,53 A
roch získali najvyššie hodnotenie výlučne Ústav merania (TV) 1,64 1,73 2,00 2,45 2,45 2,55 2,36 15,18 54,22 B
ústavy kategórie A*, pričom každý z nich bol Ústav stavebníctva a architektúry (TV) 2,82 2,64 2,73 2,82 2,00 2,73 2,64 18,36 65,58 A
najlepší aspoň v jednom parciálnom indiká-
tore. Naopak, ústavy kategórie B mali spravi- Tabuľka 2. Koeficient korelácie výsledného hodnotenia s parciálnymi indikátormi
dla po dve umiestnenia na najnižšej pozícii. Presnú definíciu korelačného koeficientu a diskusiu jeho vlastností možno napr. nájsť vo Wikipedii, pozri http://
en.wikipedia.org/wiki/Correlation. Zjednodušene: ak je absolútna hodnota koeficientu pod 0,3, je korelácia slabá,
3. Pozoruhodná bola pomerne vysoká strednej korelácii zodpovedá koeficient s absolútnou hodnotou od 0,3 po 0,5; silnú koreláciu indikuje hodnota nad 0,5.
zhoda v hodnotení členov AKOV-I. Nebola Interpretácia silnej/slabej korelácie však závisí aj od kontextu a počtu údajov.
však úplná; nielen posudzovatelia, aj členovia 1 2 3 4 5 6 7
AKOV-I mali latku hodnotenia posadenú na
Spoločenské výstupy ( aplikácie,
Vedecké postavenie v medzinár.
Projektová štruktúra, výskumné
Organizácia doktorand. štúdia,
Infraštruktúra a manažment
rôzne vysokej úrovni. Napriek odlišnostiam
Ohlas vedeckých výstupov
granty a iné zdroje financií
a domácom kontexte
iné pedagog. aktivity
však bol zrejmý vysoký stupeň konsenzu
Vedecké výstupy
popularizácia)
pri všetkých ústavoch, ktoré patria výsledne
do kategórie A*, resp. B; to tiež dokumen-
1
Úplný text analýzy s tabuľkami a obrázkami je
dostupný na webstránkach SAV: http://www.sav.
sk/uploads/d0081731470/sprava_AKOV1_pre_
PSAV.pdf.
Koeficient korelácie 0,944 0,935 0,946 0,525 0,790 0,495 0,902
6 ARRA newsletter | apríl 2008
7. Obrázok 2. Závislosť bodového zisku pridŕžali pokynov v hodnotiacom formulári,
100 resp. chybne interpretovali údaje v akreditač-
ných materiáloch.
Posuny smerom nahor alebo nadol však
neboli iba výsledkom singulárneho hodnote-
nia jedného alebo niekoľkých členov AKO-
% bodov z indikátorov B1 až B4
80
V-I, ale aj v nich bol zrejmý značný konsen-
zus.
III. Všeobecnejšie závery z akreditačné-
60
ho procesu
Z procesu hodnotenia činnosti organizá-
cií I. OV SAV za r. 2003 – 2006 vyplynulo
niekoľko všeobecnejších záverov. Stručne zhr-
niem tie, ktoré ešte neboli uvedené vyššie:
40
40,00 60,00 80,00 100,00
1. Rozdiely v priemernej výkonnosti me-
% bodov z indikátorov B1 až B7 dzi ústavmi sú menšie ako rozdiely medzi
jednotlivcami a skupinami v rámci jednot-
livých ústavov. Vo väčšine pracovísk I. OV
tuje robustnosť výsledkov hodnotenia voči tabuľku 2), že celkový bodový zisk ústavov zo SAV jadro najlepších výsledkov a ohlasov
odchýlkam v hodnotení posudzovateľov a všetkých 7 hodnotených indikátorov bol iba produkuje relatívne malá časť výskumných
prípadným chybám v bodovaní niektorých stredne korelovaný s indikátormi č. 6 (spo- pracovníkov. V riešení tohto problému tkvie
indikátorov. ločenské výstupy) a 4 (projektová štruktúra); silný rozvojový potenciál.
4. Najvyšší priemerný rozptyl v hodnote- naopak, veľmi silná bola korelácia s indiká- 2. Priemerný vek tvorivých pracovníkov
ní členov komisie sa vyskytol v prípade Geo- tormi č. 3 (vedecké postavenie), 1 (vedecké vo väčšine ústavov je vysoký a počet dokto-
grafického ústavu SAV a Ústavu informatiky výstupy) a 2 (ohlas), o niečo slabšia s č. 7 randov a postdoktorandov je nízky. Problém
SAV. Domnievam sa, že to možno pripísať (infraštruktúra a manažment), ešte slabšia s nedostatku doktorandov je sčasti zapríčinený
problematickému zaradeniu týchto pracovísk indikátorom č. 5 (organizácia doktorandské- nedostatočným záujmom vysokých škôl o
do I. OV SAV, resp. do skupín v rámci I. OV ho štúdia). Výsledok sa dá interpretovať tak, spoluprácu s ústavmi SAV, nerovnoprávnym
SAV. Časť činnosti geografického ústavu spa- že hodnotenie pracoviska podstatne viac zá- postavením SAV v novom systéme dokto-
dá svojím zameraním do I. OV, no časť má viselo od excelentnosti a významu dosiahnu- randského štúdia a skutočnosťou, že niektoré
skôr charakter výskumu v III. OV. Podobne tých vedeckých výsledkov než od množstva programy doktorandského štúdia nie sú na
ústav informatiky je síce zaradený do skupi- získaných prostriedkov a od výstupov do VŠ akreditované a nemôžu byť preto akredi-
ny matematicko-fyzikálno-informatických spoločenskej praxe. Rovnako ho však mož- tované ani v SAV, kde je dostatok potenciál-
vied, no značnou časťou činnosti skôr zapadá no pripísať problémom pri kvantifikovaní a nych garantov a školiteľov.
medzi vedy technické. Rozdiely v hodnotení štandardizácii indikátorov č. 4 až 7 a proble- 3. Väčšina ústavov má relatívne zastaralú
členov AKOV-I tak pravdepodobne súvisia s matickosti porovnávania výstupov rozličných experimentálnu bázu a infraštruktúru. Bez
tým, že toto špecifikum spomenutých praco- ústavov I. OV v týchto indikátoroch. Zdá sa podstatných investícií nebude možné udržať
vísk viacerí reflektovali odlišne. prirodzené, že indikátory, ktoré sa dajú ťažšie konkurencieschopnosť so zahraničím.
5. Zaujímavou otázkou je, do akej miery objektívne zhodnotiť, sa na výsledku odráža- 4. Do skupiny najvyššie hodnotených
ovplyvnili zaradenie ústavov do kategórií A*, jú slabšie než kvantifikovateľné indikátory. pracovísk patria spravidla väčšie ústavy, na-
A a B parciálne indikátory č. 5 až 7 (dok- 6. Hodnotenia indikátorov č. 1 až 4 člen- opak, v skupine nižšie hodnotených sú zväčša
torandské štúdium; spoločenské výstupy; in- mi AKOV-I a externými posudzovateľmi sa malé pracoviská. Počet tvorivých pracovníkov
fraštruktúra a manažment), ktoré sa hodno- vo viacerých prípadoch odlišovali. Túto sku- v niektorých pracoviskách je podkritický na
tia ťažšie ako kritériá č. 1 až 4 a tiež sa ťažšie točnosť možno podľa môjho názoru pripísať to, aby mohli dosahovať veľmi dobré výsled-
kvantifikujú a štandardizujú. Názornú odpo- niekoľkým faktorom: ky vo všetkých hodnotených indikátoroch.
veď poskytuje obrázok 2. V ňom je vynesený (a) Hodnotenie posudzovateľov bolo 5. Vo viacerých ústavoch sa riešia úlohy
graf závislosti bodového zisku (v %) z indi- vysoké (v priemere takmer 78 % maxima), podobného zamerania bez toho, aby tieto
kátorov č. 1 až 4 (merajúcich predovšetkým komisia ho musela korigovať, vychádzajúc z pracoviská tesnejšie spolupracovali.
vedecké výstupy, ich ohlas a postavenie pra- porovnania pracovísk aj s prihliadnutím na 6. Bolo by užitočné zintenzívniť spolu-
coviska) od celkového bodového zisku (v %) prijatú špecifikáciu a štandardizáciu parciál- prácu s VŠ, predovšetkým s „mladšími“ uni-
zo všetkých indikátorov. Z grafu je zrejmé, nych indikátorov, a to spravidla smerom na- verzitami mimo Bratislavy a Košíc.
že indikátory č. 5 až 7 výsledky ovplyvnili dol (v priemere udelila iba 70 % z maxima
minimálne, iba v jedinom prípade zaradenie bodov). IV. Teda: Stálo to za to?
ústavu podľa indikátorov č. 1 až 4 nezodpo- (b) Komisia – viac ako posudzovatelia – Je zrejmé, že výsledky akreditačného pro-
vedá jeho celkovému zaradeniu (ide o Astro- rozovrela „nožnice“ medzi najvyššie a najniž- cesu bude treba ďalej analyzovať a vyvodiť z
nomický ústav SAV, ktorému k zaradeniu do šie hodnotenými ústavmi. nich dôsledky v prospech ďalšieho skvalitne-
kategórie A* napomohlo vysoké hodnotenie (c) Vo viacerých prípadoch sa komisia nia činnosti pracovísk SAV a výsledkov ich
spoločenských výstupov a manažmentu). nestotožnila s hodnoteniami posudzovateľov, výskumu. Niet pochýb, že proces hodnotenia
Koeficient korelácie týchto dvoch veličín je ak ich nepovažovala za úplne objektívne ale- je možné ďalej vylepšovať a objektivizovať.
veľmi vysoký, 0,985. Ukazuje sa ďalej (pozri bo dospela k záveru, že sa posudzovatelia ne- Akreditácia v roku 2007 však podľa môjho
ARRA newsletter | apríl 2008 7
8. Akreditačné hodnotenie
názoru predstavuje výrazný krok správnym
smerom. V tomto kontexte je vhodné spome-
núť, že viacerí posudzovatelia ústavov I. OV
vedeckých organizácií SAV
SAV so skúsenosťami z hodnotenia činnosti
vedeckých organizácií v zahraničí skonštato-
vali, že akreditačný proces v SAV je podobný
v roku 2007 – pohľad č. 3
a podobne nastavený ako v zahraničí.
V čom vidím hlavné pozitíva ukončené-
ho hodnotenia v I. OV SAV:
1. Po prvýkrát sa uskutočnila komplexná
analýza výsledkov pracovísk I. OV „na jed-
nej čiare“, za rovnaké časové obdobie, jednou
hodnotiacou komisiou z I. OV, no s ohľadom
na špecifiká jednotlivých oblastí a s vypoču-
tím kvalifikovaného názoru externých posu- Karol Iždinský
dzovateľov.
2. Členmi akreditačnej komisie oddelenia
Ústav materiálov a mechaniky strojov SAV
vied boli aj pracovníci mimo SAV.
3. Latka náročnosti nebola postavená níz-
ko, snahou bolo odvodiť hodnotenie činnosti “prijal som výzvu na napísanie môjHo poHľadu na
stupňom „veľmi dobre“ nie od lokálnych, ale
od medzinárodných štandardov. pravidelné Hodnotenie ústavov sav. rád by som
4. Aj keď sa konečný „rebríček“ ústavov ním prispel do mozaiky názorov, ktoré dokreslia
výrazne nelíši od predchádzajúcich hodnote- samotnú prípravu, priebeH a dôsledky toHto mi-
ní, vyššia je úroveň jeho spoľahlivosti, a tým
aj výpovedná hodnota. moriadne náročnéHo procesu, spolu s ťažkosťami,
5. Zatiaľ čo v predchádzajúcich akre- ktoré Ho prirodzene sprevádzajú.”
ditáciách sa väčšina organizácií „tlačila“ v
najvyššej kategórii a iba zlomok pracovísk
bol v nasledujúcej, teraz sa ústavy rozvrstvi- Pravidelné hodnotenie ústavov (akredi- ho najmä predstaviť výsledky ústavov dosiah-
li do troch stupňov výkonnosti, pričom do tácia) je výsledkom interakcie a spolupráce nuté v predchádzajúcom roku, prideliť týmto
najvyššieho ich spadá iba tretina v I. OV a Predsedníctva SAV, Snemu SAV a Akreditač- výsledkom určitú bodovú hodnotu, zoradiť
štvrtina v celej SAV. Potešujúcim zistením je, nej komisie P SAV. P SAV je zodpovedné za ústavy podľa výkonnosti a použiť uvedené
že do dvoch najnižších stupňov C a D nie pravidelné hodnotenie ústavov, Snem SAV hodnotenie na prerozdelenie približne 1 %
je možné s čistým svedomím zaradiť žiadnu schvaľuje základné dokumenty, podľa ktorých mzdového fondu oddelenia. Prvé hodnotenie
organizáciu, čo je zrejme aj dôsledkom seba- má prebehnúť, a Akreditačná komisia SAV je vykonávala 10-členná evalvačná komisia, na-
očistného procesu, ktorým SAV prešla v 90. bezprostredným vykonávateľom hodnotenia vrhnutá P SAV tak, aby svojou odbornosťou
rokoch a ktorý niektoré iné organizácie vedy v zmysle schválených dokumentov. Ide o vy- pokrývala zameranie 15 ústavov I. oddelenia
a výskumu a VŠ stále iba čaká. vážený systém právomocí, ktorý nevyhnutne vied. Hodnotenie ich činnosti prebiehalo na
6. Organizácie dostali od posudzovateľov vyžaduje vzájomnú spoluprácu a dohodu. základe posúdenia výkonnosti v 6 vybraných
celý rad podnetov, ktoré môžu prispieť k ďal- Hneď na úvod chcem povedať, že ako kritériách:
šiemu skvalitneniu ich činnosti. Súčasne po- zástupca Ústavu materiálov a mechaniky - publikovanie výsledkov,
sudzovatelia často poukázali na problémy, o strojov SAV v Sneme SAV, a v priebehu akre- - ohlas,
ktorých sme si niekedy mysleli, že ich vidno ditácií aj jeho predseda, som bol od začiatku - medzinárodná spolupráca,
iba „znútra“ a navonok sa neprejavujú; v po- pri tvorbe a pripomienkovaní základných - získavanie prostriedkov,
sudkoch boli mnohé neomylne odhalené. akreditačných dokumentov a absolvoval som - aplikácia výsledkov a ich popularizácia,
7. Aj keď sa niektoré prvky hodnotiaceho množstvo diskusií najmä na úrovni snemu a - výchova.
procesu v spätnom pohľade javia pravdepo- predsedníctva. Naopak, keďže ústav nemal
dobne ako chybné (napr. spojenie popula- svojho zástupcu v žiadnej z hodnotiacich V diskusiách, ktoré prebiehali pred sa-
rizácie a aplikácií do jedného hodnoteného komisií, nemôžem sa vyjadrovať k spôso- motným evalvačným hodnotením, najväčšia
ukazovateľa), akreditačné zaradenie organizá- bu, akým dospeli ku konečným výsledkom. kritika smerovala k tomu, že takýto systém
cií výrazne neovplyvnili. Keďže akreditácie prebiehali do istej miery kladie nesplniteľné nároky na spravodlivé
Na záver osobný postreh: Kytica činností autonómne vo všetkých troch oddeleniach rozhodovanie členov komisie, nedáva im
a výsledkov ústavov I. OV SAV, s ktorou som vied, moje postrehy sa budú týkať najmä I. do rúk nástroje, ktoré by im to dostatočne
počas hodnotenia mal potešenie zoznámiť sa, oddelenia vied SAV, do ktorého je zaradený uľahčovali, a súčasne vytvára neodstrániteľný
sa ukázala neobyčajne pestrá, hýrila farbami a aj náš ústav. konflikt záujmov, keďže budú rozhodovať či
vôňami. Ak v priebehu nasledujúcich rokov Súčasný model akreditácií je odvodený už priamo, alebo nepriamo aj o svojich ústa-
pribudnú kvety nové, staré si uchovajú svie- od modelu evalvácií, t. j. ročného hodnotenia voch.
žosť a niektoré mierne povädnuté zmiznú, činnosti ústavov, ktoré je plne v kompetencii Prvý problém spočíval v tom, že členovia
tak prostriedky a úsilie na hodnotenie v roku oddelení vied a prvýkrát sa uskutočnilo v komisie museli hodnotiť aj ústavy, ktorých
2007 neboli vynaložené zbytočne. roku 2006. Cieľom evalvácií bolo okrem iné- činnosť bola veľmi vzdialená ich odbornému
8 ARRA newsletter | apríl 2008
9. zameraniu, ba aj takých, ktorých zameranie Bola to veľmi dobrá skúsenosť získa- znalosti a skúsenosti z celkom iných oblastí.
nebolo v komisii zastúpené žiadnym jej čle- ná tesne pred akreditáciami, ktorá vyvolala Nikde pritom neboli kritéria hodnotenia
nom. Druhý problém súvisel s tým, že hoci potrebu nastaviť proces hodnotenia trochu definované lepšie ako v „Memorande Slo-
niektoré z hodnotených kritérií sa dali veľmi inak. Snem, ktorý schvaľoval zásady akredi- venskej akadémie vied k rozvoju a situácii vo
presne kvantifikovať a vyčísliť – napríklad tácie, vyslal jasný signál, že v akreditáciách vede a technike v Slovenskej republike“, pri-
publikovanie výsledkov a ich ohlas (počty je nevyhnutné pristupovať ku každej vednej jatom pred parlamentnými voľbami v roku
CC publikácií, impact-faktory, počty citá- disciplíne s ohľadom na jej špecifiká. Išlo o 2006. V uvedenom memorande sa konštatu-
cií), iné – napr. medzinárodná spolupráca, to, neporovnávať neporovnateľné (t. j. ústavy je, že činnosť SAV spočíva na nasledujúcich
výchova doktorandov alebo aplikácia výsled- navzájom), ale porovnávať ústavy voči akejsi 6 pilieroch:
kov a ich popularizácia – zďaleka nie. Všetky hodnote medzinárodného štandardu (ben- - excelentnosť,
kritériá totiž veľmi úzko súvisia s danou ve- chmarking), typickému pre jednotlivé vedné - vzdelávanie,
deckou oblasťou, no s tými, ktoré postrádajú disciplíny. - aplikácie,
jednoznačný merateľný kvantitatívny rozmer, Novozriadená akreditačná komisia v I. - medzinárodná vedecko-technická spo-
sa pracuje o to ťažšie. Tieto námietky boli v oddelení vied (AKOV-I) veľmi korektne lupráca,
tom čase odmietané s tým, že experti z eval- skonštatovala, že nie je v jej silách, stanoviť - expertízna činnosť,
vačnej komisie si svojou vedeckou erudíciou tieto štandardy pre jednotlivé ústavy, pretože - popularizácia.
poradia s medzerami, ktoré vyplývajú z nie rozmanitosť ich zamerania je taká veľká, že
celkom presne definovaných kritérií. je nemožné nastaviť kritériá tak, aby spra- Uvedené kritériá sú podľa môjho názoru
Keby som mal použiť športovú termino- vodlivo odrážali ich výkonnosť. Riešenie sa úplne jasné, zreteľné, navzájom si nekolidujú
lógiu, tak by som uvedený systém hodno- našlo v dohode o prizvaní externých posu- a neporovnateľne lepšie a vyváženejšie reflek-
tenia prirovnal k súťaži, v ktorej proti sebe dzovateľov do hodnotiaceho procesu. Mali to tujú činnosť ústavov SAV. Je skutočne ško-
nastúpia reprezentanti rôznych športových byť medzinárodne uznávaní odborníci, ktorí da, že sa ich dlhodobo a opakovane nedarí
disciplín – pre jednoduchosť si zvoľme naprí- nepotrebujú pracovať s nejakými vopred sta- presadiť aj ako evalvačné, resp. akreditačné
klad skoky. Napadá mi skok do diaľky, skok novenými štandardmi, keďže to, že v danej kritériá.
do výšky, trojskok, skok o žrdi, ale aj skoky disciplíne získali medzinárodnú reputáciu, Najzávažnejšou zmenou v akreditáciách
do vody z dosky alebo z veže, gymnastické jednoznačne svedčí o tom, že veľmi dobre ve- oproti jednoročným evalváciám bola účasť
preskoky, skoky na trampolíne, skoky na ly- dia, kde leží medzinárodná úroveň. medzinárodne uznávaných posudzovateľov,
žiach klasické i akrobatické... Ide o čiastočne Boli s tým spojené riziká, že posudzovate- ktorí vo svojich posudkoch vyjadrili svoj
podobné, ale súčasne aj veľmi odlišné činnos- lia nenastavia rovnakú mieru prísnosti a ich názor na kvalitu jednotlivých ústavov. Z
ti, v ktorých sa vyžadujú rozmanité schop- hodnotenie niektorým ústavom ublíži a iným ich hodnotenia vyplynulo, že medzi akade-
nosti, zručnosti, talenty, fyzické predpoklady, nezaslúžene pomôže. Preto v zásadách ostala mickými ústavmi v I. oddelení vied nie je až
tešia sa rôznej miere popularity a mediálnej možnosť, že o výsledku akreditácie nakoniec taký rozdiel vo výkonnosti, aký sa opakovane
pozornosti. Pritom platí, že niektoré z týchto rozhodne akreditačná komisia s prihliadnu- objavoval pri dvoch predchádzajúcich evalvá-
disciplín sa hodnotia na základe jednoznačne tím na posudky expertov. Tu sa však opäť ob- ciách. Toto sa stretlo s väčším pochopením
merateľných kritérií (dĺžka, výška), v iných javilo riziko, že akreditačná komisia skĺzne do a s určitou satisfakciou u tých menej úspeš-
rozhoduje obtiažnosť a náročnosť akroba- porovnávania ústavov medzi sebou. Toto rizi- ných, naopak, s menšou mierou pochopenia
tických prvkov a kvalita ich vykonania. O ko bolo o to väčšie, že táto komisia začiatkom u tých úspešnejších. Súčasne to naznačovalo,
poradí súťažiacich má na základe porovnania roku 2007 vykonala druhú evalváciu ústavov že predchádzajúci systém hodnotenia nemusí
vybraného súboru ukazovateľov hlasovaním a svojím rozhodnutím akoby prejudikovala byť až taký spoľahlivý, ako sa niektorým jeho
rozhodnúť komisia, zložená zo špičkových výsledky akreditácie. Uvedené riziko sme sa zástancom zdá. Bola tu, samozrejme, aj mož-
odborníkov na niektoré disciplíny. Mimo- v sneme pokúšali eliminovať návrhom, aby nosť, že posudzovatelia boli príliš benevo-
riadna obtiažnosť takéhoto rozhodovania je akreditačná komisia mala právo rozhodnutia lentní v prípade ústavov, ktoré pri predchá-
zjavná. expertov buď prijať, alebo odmietnuť a požia- dzajúcich evalváciách skončili medzi horšie
Možno sa tento príklad zdá ako nepri- dať o nové posudky, ale nemeniť ich rozhod- hodnotenými a naopak, oveľa prísnejší boli
meraný, ale v I. oddelení vied sa skutočne nutie ďalším hlasovaním. Myslím, že obavy pri ústavoch, ktoré sa umiestnili na prvých
vedľa seba postavili veľmi rozdielne disciplí- z toho, že by mohlo dôjsť ku strate kontroly miestach hodnotenia. Keďže tento trend bol
ny – matematika, geológia, fyzika, geografia, nad akreditačným procesom, boli príliš veľké prakticky rovnaký u všetkých ústavov, ťažko
elektrotechnika, stavebníctvo, astronómia, a tak tento návrh neprešiel. sa dalo hovoriť o nejakej náhodnej fluktuá-
materiálové inžinierstvo, informatika a hyd- Nevyužila sa ani možnosť lepšie nastaviť cii.
rológia. Členovia evalvačnej komisie dostali kritériá hodnotenia. Mimoriadne konfúzne V tejto chvíli urobila AKOV-I dosť prob-
nesmierne ťažkú úlohu zoradiť tieto roz- kritérium z môjho pohľadu od samého za- lematický krok. V záujme zvýšenia rozdielov
manité ústavy podľa výkonnosti. Jedinými čiatku boli aplikácie výsledkov v praxi a ich vo výkonnosti v záverečnom hlasovaní „na-
spoľahlivo merateľnými kritériami sa stali popularizácia. Ide o dve celkom iné činnosti, pravila“ rozhodnutia posudzovateľov – tým
publikácie a citácie, a tie nakoniec rozhodli. ktoré sú možno rovnako dôležité, ale keď sa úspešným z evalvácií pridala a tým neúspeš-
Predpokladané korekcie zohľadňujúce sku- dajú do jedného kritéria, tak sú nevyhodno- ným ubrala z bodového hodnotenia posu-
točnosť, že v každej vednej disciplíne leží úro- titeľné. Objektívne sa asi nedá dokázať, koľko dzovateľov.
veň medzinárodného štandardu kdesi inde a popularizačných akcií sa vyrovná zavedeniu Myslím, že sa tým dosť nešťastne sprob-
že z povahy disciplíny samotnej vyplýva, že je nejakej technológie do výroby, a tak zrejme lematizovali a spochybnili konečné výsledky.
zameraná na plnenie trochu iných cieľov, sa neostáva iné než určiť body len na základe AKOV-I sa stala arbitrom vo virtuálnom
nijako zvlášť v hodnotení evalvačnej komisie subjektívneho hodnotenia posudzovateľa, spore o kvalitu medzi posudzovateľmi a ňou
neprejavili. ktoré sa však vo väčšine prípadov opiera o samotnou. Svojím rozhodnutím sproble-
ARRA newsletter | apríl 2008 9
10. matizovala účasť expertov tým, že ich hod- disciplín. Je pochopiteľné, že astronómia nezmenilo by sa s najväčšou pravdepodob-
notenie brala do úvahy len v takej miere, v musí sledovať celkom iné ciele a využívať nosťou vôbec nič. Štát by svoju podporu pre
akej to uznala za vhodné. Je veľmi pravde- celkom iné postupy ako napríklad vývoj vedu asi nezvýšil. Ako teda zabezpečiť rast
podobné, že hodnotenie ústavov by bolo nových materiálov. Mohli by sme možno v odvetví, v ktorom ročná podpora rastie
dopadlo rovnako aj bez ich účasti. Oprava pripustiť aj to, že zatiaľ čo výsledky „zve- tempom možno 3 %, zatiaľ čo národné hos-
hodnotenia posudzovateľov opäť pripome- davosťou motivovaného“ výskumu sú podárstvo rastie tempom 8 %. Už i súčasný
nula neodstrániteľný konflikt záujmov, s jeho obrazne povedané balené do publikácií a obrovský rozdiel v platoch medzi verejným a
nejasným dopadom na výsledné hodnotenie. reflektované citáciami, výsledky „problé- súkromným sektorom sa nedarí ani len stabi-
Žiaľ, súčasná slovenská hodnotová kultúra sa movo orientovaného“ výskumu sú balené lizovať, a ďalej sa zväčšuje. Kráčame k ďalšie-
len veľmi výnimočne dokáže efektívne brániť do patentov, máp, výrobkov, prototypov a mu prebudeniu, keď dostaneme svoje platy v
vplyvu konfliktu záujmov, a to aj vtedy, keď pod. K určeniu ich hodnoty nie je možné eurách a mnohí doktorandi zistia, že ich 500
sa rozhoduje o výsledkoch znamenajúcich pristúpiť jednoduchým sčítaním. Podmien- – 600 eur pri súčasnom tempe rastu dosiahne
priamy finančný dopad. ky, v akých vznikajú, sú takisto diametrálne prijateľnú úroveň za desiatky rokov. Obávam
Oveľa transparentnejším, než plošné odlišné. Keď vyvíjame principiálne nový sa masívneho exodu všetkých, ale najmä tých
opravenie výsledkov, by bol postup vyžia- materiál pre renomovaného priemyselného najschopnejších.
dania nových posudkov v prípadoch, keď partnera, ide spravidla o takú citlivú záleži- Určité riešenie vidím v ďalšom otvorení
posudzovatelia evidentne pochybili. Taktiež tosť, že nielenže nemôžeme o danej veci nič celého systému. Prostriedky je jednoznačne
formulovanie stanoviska, odôvodňujúceho publikovať, ale nemôžme ani nikde uviesť, potrebné hľadať najmä mimo SAV a aspoň
príčiny neakceptovania hodnotenia posudzo- pre koho ju vyvíjame. časť akadémie by mala svoju budúcnosť spá-
vateľov, by veľmi pomohlo spriehľadniť celý Hlavný problém vidím v tom, že súčas- jať s rozširovaním svojich schopností v ich
proces. Spor sa tak mohol dostať na odbornú né kritériá hodnotenia sú nastavené tak, že získavaní. Vo vedomostiach a skúsenostiach
úroveň, ktorá by umožnila porovnať argu- oveľa lepšie zohľadňujú výsledky spojené so pracovníkov SAV sú ukryté miliardy a tie
menty oboch strán. „zvedavosťou motivovaným“ než s „prob- je potrebné vytváraním vhodných podmie-
Najhoršie je azda to, že vďaka takémuto lémovo orientovaným“ výskumom. Stačí nok uvoľniť. Realita je taká, že málokto je
postupu sme sa v určitom zmysle dostali zno- napríklad, aby väčšina členov hodnotiacej ochotný zaplatiť milión za vedecký článok,
va na začiatok, keď sa porovnávala výkonnosť komisie mala bližšie k prvému typu výsku- ale je dosť tých, ktorí zaplatia aj oveľa viac,
ústavov navzájom a nevyužila sa ponúkaná mu a hodnotenie musí nevyhnutne dopad- ak okrem článku dostanú aj dôkaz o tom,
príležitosť posunúť sa kvalitatívne ďalej. Exis- núť tak, že príslušné ústavy skončia lepšie že uvedená vec skutočne funguje, dá sa vy-
tuje veľké množstvo údajov o výkonnosti jed- než tie ostatné. Samozrejme, platilo by to robiť v reálnych podmienkach a má potom
notlivých ústavov a tieto je možné navzájom aj naopak. Zrejme oveľa objektívnejšie by aj očakávané vlastnosti. Z našich skúseností
v rôznych obmenách porovnávať. Nepochyb- bolo hodnotiť ústavy podľa ich prevažujú- vyplýva, že je dosť kapitálu, ktorý je pripra-
ne z nich vyplýva, že stanovené poradie je cej orientácie dvoma nezávislými komisia- vený podporiť, zaplatiť, alebo okamžite kúpiť
správne. Nie sú mi však známe žiadne údaje, mi. Tieto by sa nemuseli obmedzovať len výsledky výskumu, ktoré majú šancu konku-
okrem hodnotení posudzovateľov, ktoré po- na ústavy jedného oddelenia vied. rovať súčasným, alebo priniesť nové riešenia.
rovnávajú výkonnosť ústavov voči ich vlast- Myslím si, že Snem SAV dostatočne Uzavretím jedného cyklu pravidelného
nému medzinárodnému štandardu. A práve citlivo vníma tieto skutočnosti, a preto cel- hodnotenia vedeckých organizácií SAV nič
toto porovnanie sa malo stať základom hod- kom jednoznačne schválil pomerne mier- nekončí. Stojíme na prahu nových a svojimi
notenia a celkového poradia. ne finančné dopady výsledkov akreditácií. účinkami nepochybne významnejších výziev
Ku cti všetkým zúčastneným treba po- Nepochybne niektoré očakávania v tomto a cieľov. Rozpočtové pravidlá pre príspevkové
vedať, že celý proces prebehol z formálneho smere boli na začiatku procesu oveľa odváž- organizácie nútia zrušiť organizáciu v prípa-
hľadiska veľmi korektne. Snem mal možnosť nejšie. de, že jej príjmy sú na úrovni príspevku zo
od začiatku do konca vyjadrovať sa k procesu S tým bezprostredne súvisí problém štátneho rozpočtu. Ústavy, ktoré sa priblížili
pravidelného hodnotenia a schvaľoval všetky spojený s financovaním vedy ako takej. alebo už dnes sú na tejto hranici, stoja pred
rozhodujúce dokumenty. Ich konečná podo- Potreba lepšieho finančného ohodnotenia prirodzenou prekážkou svojho ďalšieho roz-
ba je tiež prienikom toho, na čom sa jeho čle- excelentného výskumu oprávnene rezonuje voja. Zmena týchto pravidiel by veľmi po-
novia boli schopní dohodnúť. AKOV sa mu- nielen na pôde SAV už dlhé roky. V pod- mohla a nestála by vôbec nič. Stojíme pred
seli podriadiť týmto pravidlám aj vtedy, keď mienkach nedostatočnej finančnej podpo- začiatkom čerpania štrukturálnych fondov na
cítili, že by bolo vhodnejšie a spravodlivejšie ry štátu sa určitým riešením javí prerozde- vedu a výskum. Tieto, pokiaľ budú rozumne
konať inak. P SAV dané výsledky akceptova- lenie vnútorných prostriedkov SAV. Keďže využité, môžu dramaticky zmeniť obraz nie-
lo a nepokúšalo sa ich ďalej meniť. financovanie je také nízke, často nie je kde len SAV, ale celej slovenskej vedy.
Uvedomujem si, že môj pohľad na pro- vziať. Do úvahy potom prichádza zrušenie Aj po skončení akreditácií je stále o čo
ces hodnotenia môže vyvolať nesúhlas v ur- neefektívnych pracovísk a podpora tých bojovať.
čitej časti akademickej obce. Línia odporu a najefektívnejších. V určitej etape sa mohlo
možno nepochopenia sleduje hranicu medzi zdať, že aj výsledky akreditácií by mohli
tým, čo by sme mohli nazvať „zvedavosťou podporiť takéto riešenie. Dnes je zrejmé,
motivovaný“ (curiosity driven) výskum, a že výsledky nepotvrdili existenciu takých
„problémovo orientovaným“ (problem sol- slabých ústavov, ktoré by bolo potrebné ru-
ving) výskumom. V oboch prípadoch ide o šiť. Tu ale nastáva problém, ktorý vyplýva z
základný výskum, i keď jeho ťažisko je po- uzavretosti sústavy, v rámci ktorej sa rieši.
sunuté k iným prioritám. Zrejme je to už Keby všetky ústavy zvýšili svoju publikač-
predurčené povahou jednotlivých vedeckých nú aktivitu diskrétnym skokom o 100 %,
10 ARRA newsletter | apríl 2008
