V domácí vědě se začínají uplatňovat nová pravidla hodnocení publikací zavedená vládní radou pro výzkum. Mají však mnohé nedostatky a vykazují řadu rozporů.
Rada české vlády pro vědu a výzkum zveřejnila loni v létě pravidla, podle kterých je již dnes hodnocen výzkum vědců působících na všech výzkumných pracovištích. A letos v lednu podle týchž pravidel poprvé ohodnotila vědecký výkon celých institucí. Výsledky tohoto hodnocení mají mít v dalších letech zásadní dopad na financovaní všech domácích vědeckých pracovišť včetně vysokých škol. Jde tedy o nanejvýš vážné téma, ale jak odpovídá místním politickým zvyklostem, nový systém se rodil v nejvrchnějších patrech vědecké politiky bez širší a dostatečně důkladné diskuse. Výsledkem je kombinace (snad) dobrých úmyslů, některých správných rozhodnutí a vysloveně problematických kroků.
Nová pravidla se snaží českou vědu motivovat k lepším výkonům v mezinárodním srovnání a také k vytváření výsledků, které jsou aplikovatelné v praxi. Aplikovaný výzkum tedy zkrátka nepřijde. I méně zásadní aplikované výsledky se hodnotí o něco příznivěji než naprostá většina publikací, které jsou hlavním a často jediným produktem základního výzkumu. Odlišné zájmy základního a aplikovaného výzkumu však vytvářejí jen jednu z mnoha třecích ploch. Ty ostatní se ukrývají přímo uvnitř systému hodnocení publikací.
Všem stejným metrem?
Nový systém má zjevnou tendenci sázet na společná plošná pravidla pro co největší počet různorodých oborů. Jednoduchá, univerzální pravidla mají obrovské výhody. Jsou relativně levná a brání zbytečným diskusím. Mezi skupinami věd i jednotlivými vědami samozřejmě existuje velké napětí. Debaty mezi nimi mohou být nekonečné a málo plodné. Diskuse, zvláště o kvalitě, se však často nevedou ani uvnitř jednotlivých disciplín. Je-li situace takto špatná, rýsuje se jako nejlepší řešení najít objektivní, mechanicky aplikovatelná pravidla, pomocí kterých se dá měřit všem, aniž by vznikla nutnost jakkoli o čemkoli dále diskutovat.
Tato pravidla výrazně usnadňují zpracování obrovského množství publikací, které ve vědě vznikají. Současně umožňují, aby hodnocení prováděli úředníci, kteří posuzovaným oborům příliš nerozumějí, protože stačí vycházet z objektivně daných příznaků každé publikace. Mohlo by se zdát, že výsledkem musí být ta nejméně zmanipulovatelná a nejspravedlivější podoba hodnocení. Každé „objektivní“ kritérium však někomu přeje více a někomu méně.
V kostce řečeno, pravidla hodnocení publikací kladou velkou váhu na články v takzvaných impaktovaných časopisech s výjimkou humanitních disciplín, u nichž je použití impakt faktoru krajně nevhodné, a které proto mají svá vlastní speciální kritéria.
Tyto základní ideje jsou samy o sobě rozumné, ale konkrétní nastavení bodových vah různých publikací vzbuzuje rozpaky. Neplatí totiž intuitivní předpoklad, že by stejná kvalita a množství práce měly být hodnoceny víceméně stejně. Monografie o 50 stranách má stejnou váhu jako monografie o 500 stranách. Třístránkový článek „vydělá“ tolik bodů jako článek padesátistránkový.
Kapitoly v knize mají váhu pouze podle toho, kolik různých autorů se na ní podílelo. Týž článek uveřejněný v knize o celkem pěti autorech má dvojnásobnou váhu proti článku vydanému v knize, v níž publikovalo deset různých autorů.
Bodování tedy nezohledňuje ani základní kvantitativní vlastnosti textu, a už vůbec není řeč o velmi různorodé kvalitě různých typů publikací. Článek v knize publikované u vysoce prestižního západního nakladatelství může mít poloviční váhu proti článku uveřejněnému v průměrném českém časopise nebo sborníku. Některé náročné výkony, například editování čísel vědeckých časopisů nebo kompendií, se nehodnotí vůbec nebo zcela nedostatečně a jisté není ani to, zda budou náležitě oceněny třeba překlady klasické literatury.
V síti vědy Pravidla hodnocení přikládají velký význam publikacím v impaktovaných časopisech. Článek v nejlepším časopise daného oboru má váhu odpovídající zhruba sedmi monografiím. Impaktované časopisy jsou takové, které jsou zařazeny do citačních databází americké komerční společnosti Thomson Reuters, včetně té asi nejznámější, nazývané Web of Science. Tato firma počítá citace u publikovaných článků a každoročně vydává žebříčky časopisů seřazených podle jejich průměrné citovanosti.
Autorem myšlenky počítání tzv. impakt faktoru je průkopník americké scientometrie Eugene Garfield, který už v 50. a 60. letech nastavil pravidla pro počítání průměrné citovanosti tak, aby optimálně měřila kvalitu nebo přesněji „dopad“ publikací zejména v biochemii a oborech s ní srovnatelných. Garfield i mnozí další odborníci však neúnavně zdůrazňují, že impakt faktor je problematickým ukazatelem kvality článků ve společenskovědních časopisech a zcela scestné může být jeho použití v humanitních oborech.
O nedostatcích impakt faktoru toho bylo ve vědeckých časopisech už napsáno velmi mnoho, přesto je vhodné pár základních námitek připomenout. Tím základním problémem impakt faktoru je rozdílná hladina citovanosti v různých vědních disciplínách, ale i v různých specializacích v rámci jednoho oboru. S trochou zjednodušení platí, že impakt faktor udává průměrnou citovanost časopisu pouze v posledních dvou letech. Bude vyšší v těch oborech, kde se citují především nejnovější výsledky, a přírodní nebo technické vědy s rychlým obratem nových poznatků budou tedy mít výrazně vyšší impakt faktory než třeba filozofie, v níž stále patří k dobrému tónu odkazovat na Aristotela a Platona.
Britští přírodovědci Bruce Charlton a Peter Andras uvádějí, že průměrná citovanost v přírodních vědách je 13krát vyšší než ve vědách sociálních, a dokonce 200krát vyšší než v humanitních oborech. Významné rozdíly existují i uvnitř vědních skupin. Zhruba řečeno, impakt faktory jsou nejvyšší v biologii, medicíně a chemii, a v rámci sociálních věd v psychologii a různých sociálně-zdravotnických oborech.
Pravidla hodnocení české vědy se problémům s rozdílnou hladinou citovanosti v různých oborech vyhnula tím, že do výpočtu bodové váhy článku nezahrnují absolutní hodnoty impakt faktorů, ale pouze relativní pořadí na žebříčku impaktovaných časopisů. Pokud biochemik a ekonom publikují článek v desátém nejlepším časopise svého oboru ze sta, získají stejný počet bodů, ač impakt faktor prvního časopisu je zhruba pětinásobně vyšší. Nic než „impakt“ Některými dalšími omezeními impakt faktoru trpí více společenské vědy než přírodovědné obory. Zcela zásadní problém spočívá v tom, že impakt faktor stále zůstává silně amerikocentrický. Obrovská databáze firmy Thomson Reuters obsahuje zejména články vycházející ve Spojených státech a samozřejmě především v angličtině. Porozumění americké korporace pro specifika menších středoevropských jazyků je vcelku omezené. Jejím redaktorům například dělá při identifikaci jazyka článku problém rozlišovat mezi češtinou, slovenštinou a slovinštinou. Neanglické časopisy vzaté na milost a zařazené do databáze dopadají s impakt faktorem velmi podprůměrně. Není divu, když článek psaný v malém národním jazyce si může přečíst řádově mnohem méně lidí než článek psaný anglicky.
A navíc v databázi Thomson Reuters bývá vždy zařazen jen zlomek časopisů vycházejících v menším národním jazyce. Citace uveřejněné v národních časopisech, které v databázi zařazeny nejsou, se nepočítají, a tak neanglické časopisy na své anglické konkurenty dále ztrácejí, protože se jim nezapočítávají mnohé domácí citace.
Konečně dalším stěžejním problémem spojeným s užíváním impakt faktoru je skutečnost, že diskriminuje obory, v nichž se ve významné míře publikuje formou knih. Databáze knih a knižních citací srovnatelná s databází časopisů neexistuje a vzhledem k obrovským nákladům takového projektu asi hned tak existovat nebude. Impakt faktor sleduje citovanost pouze u článků v privilegované skupině asi 10 000 světových časopisů, mezi nimiž převládají časopisy přírodovědecké. Desetitisíce dalších časopisů ignoruje a stejně na tom jsou i statisíce odborných knih. Publikování v monografiích je tedy v systému zdůrazňujícím impakt faktor silně diskriminováno. Příkladem velkých rozdílů v publikačních zvyklostech, a tím i v citovanosti uvnitř jednoho oboru, může být sociologie. Její matematizované subdisciplíny se způsobem práce podobají ekonomii a publikace zde mají nejčastěji podobu článků v odborných časopisech. Tyto obory mají hladiny citovanosti výrazně vyšší než teoretické, k filozofii nebo historii a ke knižním publikacím tíhnoucí sociologické disciplíny, aniž by to ještě cokoli vypovídalo o jejich kvalitě. Nejuznávanější sociologičtí teoretici, jako Zygmunt Bauman nebo Jürgen Habermas, mají na Web of Science méně citací než špičkoví kvantitativní sociologové.
„Národní excelence“ Filozofie, historie, národopis, jazykověda, uměnověda, pedagogika a pár dalších oborů se v pravidlech hodnocení společně ocitly pod ošklivou nálepkou Národní referenční rámec excelence, pro kterou platí specifická kritéria. Impakt faktor zde má velmi omezený význam, naopak roste váha domácích monografií a časopisů. Toto řešení je nevyhnutelné, ale nekoncepčně postihuje obor společenských věd. Některé z nich – jako ekonomie, psychologie nebo sociologie – se do „rámce excelence“ nedostaly a měří se jim stejným metrem jako vědám přírodním. Jiné sociální vědy však do celkem vlídného náručí „rámce excelence“ pronikly. To se týká například práva, politologie, mediálních studií nebo antropologie.
Důsledky tohoto rozdělení sociálních věd jsou absurdní a mohou mít likvidační dopad na ty, jež se do „rámce excelence“ nedostaly. Kdyby zakladatel české sociologie T. G. Masaryk dnes publikoval svou knihu Otázka sociální, musel by si dobře rozmyslet, jestli ji označí za publikaci sociologickou, nebo politologickou. V prvém případě by totiž za tutéž knihu dostal polovic bodů než v druhém případě a jeho univerzita polovic prostředků na vědu.
Odlišná pravidla pro humanitní a některé další obory s sebou nesou rizika pro kvalitu domácích publikací. Monografie i časopisy často vycházejí bez skutečného odborného posouzení, mnohá pracoviště vydávají vlastní publikace zejména proto, aby umožnila svým zaměstnancům a spolupracovníkům mít více „výstupů“, a tím posílila svůj celkový publikační výkon. Kvalita pak není nutně kritériem nejpodstatnějším. Nelze také úplně spoléhat na pouhou deklaraci vydavatele, že daná publikace prošla recenzním, ba mnohdy dokonce „náročným“ recenzním řízením. Víceméně na deklarace vydavatelů a pár velmi základních kvantitativních ukazatelů se však soustředila česká rada pro vědu, když sestavovala seznam domácích časopisů, které lze považovat za dostatečně kvalitní na to, aby publikace v nich měly nějakou bodovou váhu. Do seznamu se tak dostaly časopisy velmi kvalitní i velmi nekvalitní.
Ještě problematičtější výsledky přinesla snaha vládní rady zavést snadno aplikovatelná kritéria pro hodnocení monografií. Měl být sestaven seznam kvalitních vědeckých nakladatelství podobný tomu, jaký existuje pro časopisy. Jenže na rozdíl od Spojených států a západní Evropy se v Česku skupina nakladatelských domů specializovaných na odbornou literaturu teprve utváří. Vydávání je velmi roztříštěné a kvalita ovšem také. Hrozilo tedy, že seznam bude buď příliš úzký, a řadu solidních, ale netypických nakladatelství vynechá, anebo příliš široký, a pak lepší kontrole kvality publikaci výrazně nepomůže. Nakonec rada aspoň pro letošní rok od svého úmyslu upustila a jako monografie může vyjít prakticky cokoliv a kdekoliv.
Tvůrci metodiky hodnocení vědeckých publikací zatím projevují uhlířskou víru v sílu mechanických pravidel. Jenže samo nastavení těchto pravidel vyžaduje určitá předchozí rozhodnutí, která měření kvality různými způsoby zkreslují. Představa, že veškerý vědecký výkon lze změřit pomocí jedné tabulky, je pouze pohodlným byrokratickým přáním. Ani v Česku nebude možné zcela opustit praxi zavedenou v mnoha zemích, při níž se jednotlivé výzkumné obory hodnotí odděleně a konečný verdikt vynáší panel kvalifikovaných odborníků, kteří posuzují nejrůznější stránky jejich vědeckého výkonu. V Německu v loňském roce skončil pilotní projekt panelového hodnocení dvou oborů, chemie a sociologie, organizovaný pod záštitou spolkové Rady pro vědu. Pro nás mohou být zajímavá především doporučení panelu pro sociologii: klást značný důraz na publikování v impaktovaných časopisech, ale aspoň v sociálních vědách nepřeceňovat počty citací. A hlavně: publikace neměřit, ale číst. Každý člen panelu musel přečíst 3000 stran různých textů z hodnocených pracovišť a společně pak označili tuto formu posuzovaní kvality za naprosto nepostradatelnou. Více číst a méně spoléhat na čísla by se mělo i u nás.
***
Kdyby zakladatel české sociologie T. G. Masaryk dnes publikoval svou knihu Otázka sociální, musel by si dobře rozmyslet, jestli ji označí za publikaci sociologickou, nebo politologickou. V prvém případě by totiž za tutéž knihu dostal polovic bodů než v druhém případě a jeho univerzita polovic prostředků na vědu.
Garfield i mnozí další odborníci neúnavně zdůrazňují, že impakt faktor je problematickým ukazatelem kvality článků ve společenskovědních časopisech a zcela scestné může být jeho použití v humanitních oborech
O autorovi| Marek Skovajsa, sociolog Autor působí na Fakultě humanitních studií UK a v Sociologickém ústavu AV ČR v Praze. V letech 2001–2008 byl šéfredaktorem Sociologického časopisu. Vyjadřuje zde své soukromé názory.
