Sobota 30. března 2024, svátek má Arnošt
130 let

Lidovky.cz

Zvrácené důsledky kafemlejnku

Česko

Metodika hodnocení vědy obsahuje křiklavé nespravedlnosti, které výrazně deformují výsledky

Systém, na jehož základě se u nás rozhoduje o budoucnosti celých institucí, oborů nebo jednotlivých vědeckých kariér, stále obsahuje mnoho nesmyslných nebo nedomyšlených prvků. O některých z nich, které páchají spoušť v oblasti společenských a humanitních věd, je tento text.

Poslední lednový den vyšel nový přehled výsledků hodnocení vědeckého výkonu českých vědeckých institucí, který připravuje vládní Rada pro výzkum, vývoj a inovace. Rektoři, předsedové, děkani a ředitelé i ostatní akademici na ně netrpělivě čekali, protože čísla, která se v této tabulce objevila, budou mít velký dopad na finance, které jejich instituce dostanou na výzkum. Během posledních dvou let se na český systém hodnocení vědy, kterému se lidově říká kafemlejnek, sneslo z nejrůznějších stran obrovské množství kritiky, ale systém zůstal v podstatě beze změn. Vládní rada pro výzkum svůj zázračný přípravek testuje přímo na lidech i dál.

Svět naruby Metodika obsahuje křiklavé a absurdní nespravedlnosti, které výrazně deformují celkové výsledky. Představme si společenského vědce, říkejme mu třeba dr. Smolař, kterému se podaří dosáhnout toho, že jeho třicetistránkový článek v angličtině je přijat do dobrého amerického časopisu s impaktním faktorem v jeho specializaci dokonce patřícím mezi nejlepší na světě. Článek pobyl rok a půl v recenzním řízení a autor ho musel dvakrát důkladně přepracovávat. Pak čekal další rok na vydání, protože tento dobrý časopis má dlouhou frontu přijatých rukopisů. Krom práce na obsahu autora stálo jisté úsilí i přivést text do takové jazykové podoby, aby ho vůbec v americké redakci byli ochotni připustit do recenzního řízení. Hodnota článku podle metodiky? Předpokládejme, že časopis se podle velikosti svého impakt faktoru nachází přesně uprostřed seznamu všech časopisů v daném oboru. Dr. Smolař za něj dostane 25 bodů.

Teď si představme jeho kolegu dr. Šťastného, který napíše třístránkovou recenzi v češtině, nad kterou stráví dva večery, a vydá ji v domácím časopise, který podle rady vlády pro vědu splňuje minimální kvalitativní kritéria. Za tento výsledek mu metodika přizná minimálně 10 bodů, ale v určitých případech dokonce 20 nebo i 30 bodů.

Jiný případ. Dr. Smolař dokončil svou čtyřsetstránkovou monografii a po třech letech čekání, kdy kniha byla posouzena třemi anonymními recenzenty, musela být na několika místech výrazně upravena a aktualizována a prošla náročnou jazykovou korekturou, vyšla anglicky v kvalitním nizozemském nakladatelství. Jaký důvod ke spokojenosti!

Dr. Šťastný měl času méně, a tak prošel starší složky ve svém počítači, našel pár už dříve publikovaných článků, dopsal k nim stručný úvod a vydal je v nakladatelství, které pro jeho instituci ochotně vydává každou knihu za jediného snadno splnitelného předpokladu, že na její výrobu dostane peníze. Zdá se tu být obrovský rozdíl v kvalitě? Nevadí. Český systém oběma přidělí stejných 40 bodů.

Do třetice. Dr. Smolař se zúčastnil světového kongresu ve svém oboru a kolegům z jiných zemí slíbil, že bude editovat tematické číslo prestižního britského časopisu věnované problematice, na kterou je předním odborníkem. Následujících 12 měsíců stráví intenzivní korespondencí s dalšími editory a především s přispěvateli, s mnoha texty je hodně práce, protože je autoři poslali pozdě a ne právě v náležité kvalitě. Po roce a půl číslo konečně vyjde a dr. Smolař dostává gratulace od kolegů k pěknému číslu a kvalitnímu úvodníku, který společně s dalšími editory napsal. Domácí metodika se však nenechá obalamutit. To vše je za nula bodů.

Dr. Šťastný mezitím navštívil konferenci ve Vysokých Tatrách a napsal o ní dvoustránkovou zprávu pro časopis, v jehož redakční radě zasedá jeho manželka. Ohodnoceno deseti body.

Nejasnosti s časopisy Dr. Smolař i dr. Šťastný jsou vymyšlené postavy, ale ilustrují velmi reálné absurdity, které dnešní systém hodnocení zahrnuje. Stačí projít i docela omezený vzorek hodnocených výstupů a vyskočí desítky nesmyslů tohoto druhu. Systém naprosto neumí rozlišovat kvalitu, množství práce vložené do výsledku a náročnost posuzovacího procesu vedoucího k publikaci.

Systém hodnocení impaktovaných časopisů je nastaven tak nevhodně, že ty časopisy, v nichž jsou obvykle schopni publikovat jen ti lepší domácí společenští vědci, mají bodová hodnocení jen o málo vyšší než průměrné a někdy i podprůměrné národní žurnály. Humanitní časopisy bez impakt faktoru jsou dnes bodově rozlišeny hlavně podle evropské databáze ERIH, která je dělí na tři kategorie A, B, C, jimž v českém kafemlejnku odpovídá 30, 20, respektive 10 bodů za článek. To u opravdu světově kvalitních časopisů není mnoho, vezme-li se v potaz, že impaktované časopisy mohou nabývat hodnoty výrazně vyšší. ERIH je však stále v rané fázi vývoje a používané seznamy jsou zatím spíš jen prvním pokusem o orientační stanovení kvality. Na stránkách této databáze se výslovně varuje: „Berte prosím v úvahu, že rozdíl mezi kategoriemi A, B, C není primárně kvalitativní; kategorizace přihlíží také k takovým aspektům, jako je tematický záběr časopisu a jeho publikum.“ Toto doporučení ovšem rada vlády nebere vážně, a opírá se tu tedy o nástroj, jehož samotní tvůrci vyzývají k velké opatrnosti a který opakovaně vzbudil u celých skupin časopisů rozhořčené reakce.

Jinou absurditou spojenou s hodnocením časopisů je to, že se dosud hodnotilo bez rozdílu téměř vše, co v daném časopise vychází. Přitom každý časopis má různé rubriky, které mají svá vlastní pravidla pro přijetí textů k publikaci. Stati jsou, nebo by měly být posouzeny v náročném recenzním řízení, naproti tomu nekrology, anotace nebo zprávy z konferencí se obvykle neposuzují a přijímá je redakce. Dochází tu tedy, podobně jako v celém systému, k naprosté nivelizaci mezi nesouměřitelnými kvalitami.

Výjimkou jsou impaktované časopisy, u kterých se - správně - hodnotí jen texty v rubrikách vyžadujících recenzní řízení. Proč se u ostatních časopisů nepostupuje stejně? Nejjednodušší vysvětlení je čistě praktické. Impaktované časopisy jsou vedeny v databázi Web of Science, v níž se hned pozná, jakého typu daný článek je. Pro články v českých časopisech podobná snadná metoda zřejmě není dostupná, a proto se v nich aspoň dosud hodnotily všechny texty. Výsledkem všech těchto nedostatků je to, že v řadě případů platí: čím horší publikace, tím více bodů.

Vítejte v éře monografií Jestli se v případě časopisů dá mluvit o křiklavých nesrovnalostech, situace je zcela katastrofální u knih. Ty představují asi největší díru ve vědru, kterým se rada pro výzkum snaží zalévat lán české vědy. Dříve ohlašovaná příprava seznamu kvalitních nakladatelství, u nichž by se muselo vydávat, aby publikace přinesla body, skončila neúspěchem. Sotva také mohla dopadnout jinak, když sféra českých vědeckých nakladatelství je zatím velmi heterogenní a neustálená. Vedle pár dobrých nakladatelství existuje široká šedá zóna, v níž je těžké jednoznačně rozhodnout.

Velkým fenoménem dneška jsou různá menší nakladatelství, která pohotově vydávají „svým“ institucím v podstatě vše, co dostanou. Existence těchto nakladatelství je pochopitelná vzhledem k tomu, že kamenných nakladatelství je málo a jsou nepružná. Ale kvalita tu jaksi není zaručena. Jaký zájem nevydat problematickou knihu mají, když za ni dostanou zaplaceno?

Nakladatelství musí podle metodiky splňovat určitá kvalitativní kritéria, například mít ediční radu a dávat rukopisy k posouzení lektorům, ale to jsou podmínky, které se formálně dají splnit velmi snadno. Tady i jinde se rada jen křečovitě drží čistě vnějších příznaků kvality. K nejznámějším projevům tohoto formalismu patří alergie na slovo sborník, jehož přítomnost v názvu knihy nebo jeho blízkosti (na záložce atd.) automaticky vede k vyřazení příslušné publikace z hodnocení. Mnohé dnes vydávané knihy jsou sborníky, ale samozřejmě se deklarují jako kolektivní monografie, aby byly hodnoceny. Proč by také nemohly existovat vysoce kvalitní sborníky a velmi špatné monografie? Ale na toto rozlišení je kafemlejnek krátký.

Jiným křiklavým nedostatkem současné metodiky je nivelizace zahraničních a domácích knih. Časové i finanční náklady na vydání knihy u zavedeného zahraničního nakladatelství jsou mnohem vyšší než u českých knih, ale hodnocení je vyjma pár společenskovědních oborů naprosto stejné (a u těchto výjimek, jako je ekonomie, psychologie nebo sociologie, se tím jen kompenzuje obrovský handicap spočívající v tom, že jim jsou pouze poloviční hodnotou oceňovány monografie v češtině).

Má-li bodové hodnocení publikací existovat i nadále, pak je vyjasnění situace v oblasti knižních publikací velmi naléhavým úkolem. Situace by byla snazší, kdyby komunikace uvnitř vědecké obce byla otevřená a nešetřilo se kritikou. Realita je ale spíš taková, že špatné knihy se pomlouvají na chodbách a recenze do časopisů píší přátelé autorů. Pomoci by mohl institucionální tlak na nakladatelství, aby garantovala vyšší náročnost posuzovacího řízení. Také je možné požadovat, aby se v nakladatelstvích netvořily vysoké koncentrace autorů z jedné konkrétní instituce.

Sobečtí a provinční Výčet absurdit současného systému hodnocení by mohl pokračovat dále. Ale podívejme se závěrem na dva zvrácené důsledky, které jeho nedomyšlené nastavení má.

Metoda hodnocení vede k tomu, že podle ní jsou hodnoceny nejen instituce a týmy, ale i jednotlivci, navzdory tomu, že její tvůrci mnohokrát deklarovali, že k tomuto užití je naprosto nevhodná. Zavedení kafemlejnku na úrovni celých institucí samozřejmě okamžitě vedlo k tomu, že se podle stejné metodiky začala hodnotit i jednotlivá pracoviště, týmy, a dokonce i jednotlivci. Přínos akademického pracovníka se stále více redukuje na množství bodů, které pro svou instituci „vydělal“. A protože body jsou peníze, vede to k mocenským přesunům uvnitř institucí, které nejsou vždy ve prospěch kvality odváděné práce. Do určité míry tento systém dává vyniknout produktivním vědcům proti neproduktivním, což je jistě dobře. Ale vzhledem k mnoha chybám hodnoticího mechanismu současně dochází k tomu, že autoři slabých, ale dobře hodnocených výsledků získávají navrch nad těmi, kteří vytvářejí kvalitnější, ale diskriminované výsledky. Dr. Smolaře asi nečeká dobrá budoucnost. Vytvořil málo bodů, a tak se musí bát, že nezíská dost prostředků na další výzkumy. Veze se po sestupné spirále, která ho může dovést až na sám okraj badatelské práce. Naopak dr. Šťastnému se povede dobře. Nejenže dostane více peněz, ale vzroste i jeho moc na pracovišti. Bude-li schopen svou metodu produkce bodovaných výsledků stále zdokonalovat a přizpůsobovat novým pravidlům (zpravidla stejně absurdním, jako byla ty předchozí), stane se jednou z předních vědeckých opor své instituce. Nic nepomůže, že bibliometrické databáze od aplikace indikátorů výkonu na úrovni jednotlivých výzkumníků razantně odrazují. Webová stránka už zmíněné databáze ERIH tučným písmem varuje před „používáním seznamů časopisů jako základu pro posuzování jednotlivých kandidátů při přijímaní do zaměstnání, povyšování, udělování grantů atd.“.

Přenesení bodovacího principu na úroveň jednotlivých badatelů má i další nežádoucí důsledky. Roste individualismus a ztrácí se solidarita. Práce pro vědeckou infrastrukturu (databáze, archivy, časopisy atd.) přestává být atraktivní pro pracovníky a financovatelná pro instituce. Ve snaze maximalizovat bodovaný výkon jsou jednotlivci stále méně ochotni podílet se na jakýchkoli jiných neméně důležitých činnostech instituce. Na vysokých školách to může vést k tomu, že učitelé omezují práci se studenty, aby měli co nejvíce času na tvorbu výsledků. Na všech institucích to vede k tendenci vyhýbat se působení v samosprávném životě vědecké obce, kam patří takové činnosti jako posuzovat texty kolegů, účastnit se vědeckých seminářů, být členem odborných komisí a grémií. Tím se posiluje už beztak velká dezintegrace mnoha pracovišť a principy akademického sobectví. Pravidla hodnocení posilují provincialismus a naopak trestají mezinárodní orientaci, tedy mají přesně opačný důsledek, než bylo tolikrát deklarováno. Zahraniční publikace (rozumí se kvalitní) nejsou v daném systému v zásadě vůbec bodově zvýhodněny. Naopak autoři publikující v zahraničí jsou za svoje úsilí několikanásobně postihováni (jak trefně připomněl J. Jirsa v LN 2. 2. 2011). Vyššími vstupními náklady včetně větší časové investice, nutností překonávat jazykové i sociální bariéry, menší mírou jistoty úspěchu. Předběhnou je kolegové, kteří publikují v domácím plátku, kde recenzní řízení probíhá jen naoko, a knihy si vydávají ve spřáteleném nakladatelství.

Jistě, situace vcelku není tak beznadějná, jak jsem ji zde popsal. V domácích společenských a humanitních vědách existují ohniska vysoké kvality. Škoda že současná metodika tuto kvalitu nepodporuje, ale naopak navádí k formalismu, vypočítavosti a provinciální uzavřenosti.

***

Stati jsou nebo by měly být posouzeny v náročném recenzním řízení, naproti tomu nekrology, anotace nebo zprávy z konferencí se obvykle neposuzují a přijímá je redakce. Náš systém hodnotí obojí stejně. Proč?!

Zahraniční publikace (rozumí se kvalitní) nejsou v daném systému v zásadě vůbec bodově zvýhodněny. Naopak autoři publikující v zahraničí jsou za svoje úsilí několikanásobně postihováni.

O autorovi| MAREK SKOVAJSA, sociolog Autor je sociolog

Autor:

Akční letáky
Akční letáky

Všechny akční letáky na jednom místě!