oxymoron?

Kvuli pristupu "to tady nebude fungovat" tady spousta veci nefunguje. Experti se daji najit a svou praci odvedou. Ale ne hned a ve vsech oborech, protoze na zacatku jich bude malo a na tom, jak se povede nebo dojebe prvni pokus o peer review, tak jich bude priste vice nebo jeste mene. Peer review je vhodne nastartovat v oborech, ktere k tomu maji lepsi predpoklady sehnat ty zahranicni experty a postupne nabalovat dalsi obory. Je nutne hledat ty experty mezi expatrioty, myslim, ze spousta z nich by rada pomohla, kdyby byli spravne osloveni. A zaroven do toho peer review systemu pribirat tuzemske ceske elity, ktere budou vybrane temi zahranicnimi peer review a budou jim nejakou dobu asistovat pri hledani sucheho drivi. Musi vzniknout jadro ceskych peer revieweru, kteri budou mit zodpovednost a respekt jak u tech zahranicnich hodnotitelu, tak u ceskych kolegu. Jadro ceskych hodnotitelu, u kterych budou pochyby o tom, jestli posuzuji objektivne, znit v komunite vedcu jako jejich urazka.

kvalitni peer-review

Kvalitni peer-review se i v nasich podminkach udelat da, jak jsme demonstrovali na UOCHB pri letosni evaluaci tymu a konkurzu na nove juniorske skupiny. Snazili jsme se nase zkusenosti s tim presentovat i pro novinare, ale na tiskovou konferenci (kde meli vystoupit i nekteri zahranicni hodnotitele) neprisel ani jeden novinar - vcetne pana Rychlika, ktereho jsem opakovane osobne zval. Pak tady "erudovane" pise o necem, co nekde zaslechl nebo si nekde precetl - tomu rikam profesionalni novinarina...Tiskova zprava je zde: http://www.uochb.cz/web/document/cms_library/1647.pdfDetailni zpravu o prubehu hodnoceni a manual muzu poslat zajemcum e-mailem.V kostce tymy hodnotila International Advisory Board ustavu, coz je sbor 10 vynikajicich zahranicnich vedcu, ktery ustav dlouhodobe sleduji a pravidelne hodnoti: http://www.uochb.cz/web/structure/161.html?lang=enKazdy tym mel jednoho zpravodaje - clena IAB, ktery materialy tymu poslal 2-3 expertnim externim anonymnim oponentum (vzdy aspon 1 ze zapadni Evropy a 1 z USA) a na zaklade jejich posudku a presentaci vedoucich tymu pri 2-dennim on-site meetingu s IAB byly tymy ohodnoceny (A-E, kdy D je krizova re-evaluace za 2 roky a F znamena rozpusteni tymu).  Zadani bylo, ze musi pouzit celou skalu (na odstraneni sucheho dreva, jak pise Petr Svoboda) - vysledkem byly 2 D a 3 E, takze opravdu slo o hodne a jsem presvedcen, ze vsechny rusene tymy by na jinem ustavu patrily minimalne k lepsimu prumeru. Na uvolnena mista se udelal mezinarodni konkurz na nove juniorske vedouci - letos celkem 4 (2 v organice a 2 v biochemii). Na rozdil od P. Svobody jsem si jist, ze peer-review hodnoceni MUSI udelat pouze komise zahranicnich hodnotitelu bez jakekoli ucasti ceskych vedcu - jinak to sklouzne k tomu, jak probihalo nedavne hodnoceni AV, kde Oborove komise upravovaly hodnoceni zahranicnich expertu a v dalsim patre zase Ridici komise upravovala hodnoceni oborovych komisi... Holt pokud se to mysli s hodnocenim vedy vazne, tak se bude muset jednou za cas (5 let) zainvestovat do kvalitnich zahranicnich hodnotitelu. Cely ten proces bych nechal zorganizovat firmou, typu Technopolisu, a hlavni pravidlo by muselo byt, ze krome jasneho zadani a presneho algoritmu, by do toho uz potom zadny cesky vedec ani politik nemel nijak zasahovat. Jinak hezke vanoce a hodne uspechu v 2013! Michal Hocek

Ano, bylo by to krasne nechat

Ano, bylo by to krasne nechat to ty zahranicni experty odmakat, a verim ze na Pasteurovi to mohlo fungovat tak, jak pisete. Ale obavam se, ze mezinarodni spickovy odbornik ochotny za "slusny hotel, VIP status, veceri a legraci" stravit "14 dni, mozna i mesic" na nektere z nasich prumernych ci podprumernych instituci za ucelem jejich dukladneho ohodnoceni, je oxymoron. Mozna byste mohl to "sikovne cinknuti" nejak podrobneji vysvetlit, rad bych to zkusil pochopit. Tomas Opatrny

"Šikovné cinknutí"

Promiňte opoždenou reakci. Ještě mám v živé paměti fungování a personální složení Komise pro metodiku Hodnocení při RVVI z roku 2009, se kterou jsem si tehdá živě korespondoval ohledne parametrického nastavení vzorečků pro výpočet bodů RIV.Je to jednak otázka těch vzorečků a jednak výběru a třídění časopisů do jednotlivých oborových skupin, kde se výsledek dá velmi snadno ovlivnit.Tehdá se dělal ranking časopisů po oborech a za základ výpočtu bodové hodnoty se bralo pořadí daného časopisu v ramci oboru, ve kterém vyšla daná publikace. Bylo by to na hodně dlouhou a hodně technickou debatu a také jsme vývoj situace posléze trochu pustil ze zřetele, takže přesné nastavení metodiky výpočtu podle stávajícího kafemlejnku si nyní musím opět nastudovat.Pro zainteresovanmé uvádím odkaz, ať mají představu o co jde:http://www.vyzkum.cz/FrontClanek.aspx?idsekce=650022Pro ilustraci co jsem tím "cinknutím" myslel prikládám původní mail adresovaný celé tehdejší Komisi pro Metodiku a jen doufám (jdu se na to podívat), že od té doby došlo k nápravě mnohého co tam kritizuji... Chci doufat...., byť letmý pohled na vzorec pro rok 2012 (příloha č. 1 Metodiky platné pro rok 2012 - viz odkaz výše), ukazuje, že se ty vzorečky od roku 2099 vlastně nezměnily............ mail ze 17.3.2009..............adresovano vsem clenum komise pro Metodiku hodnoceni RVV. Panove, nechci se nikoho dotknout, ale z toho hodnoceni za rok 2009 lezou neuveritelne blbosti... Pokud nekdo chtel zadupat vyzkum v Cechach do prachu mezinarodni neviditelnosti a bezvyznamnosti - primet nas k totalni nadprodukci zcela bezcenneho "informacniho sumu" - tak takhle nastavenym hodnocenim se mu to opravdu velmi rychle povedlo. V priloze naleznete tabulku v Excelu, do ktere jsem vyexportoval data za rok 2009 kde jsou jednotlive vysledky MBU AV seradil od nejvetsi bodove hodnoty k nejnizsi, aby bylo videt na cem nejvice vydelame. Vystup je naprosto desivy, pominu patenty, tech je malo, a pojdme k publikacim: 305 b. za popisny clanek v Soil Biology and Biochemistry  200 b. za fundamentalni vedu v superprestiznim casopise "Genes and Development", kterou by se pysnila kterekoliv slavna americke univerzita... 78 b. za  porovnani transkriptomu a proteomu  na urovni celeho genomu ve velmi solidnim casopise Proteomics To je na okamzite "harakiri".... Kdyz se podivam na bodove ohodnoceni svych vlastnich publikaci v letech 2004/2007, mohu se jit tak akorat obesit, neb sice mne na jejich zaklade pozvou udelat prednasku na Gordon Conference do USA, do Oxfordu, nebo na Max Planck v Nemecku, ale jejich bodova hodnota je cca. 4 az 6 x nizsi nez stanoveni enzymu v hline po tezbe hnedeho uhli... Clovek nemusi byt spickovy expert v biologii, aby mu na prvni pohled doslo, ze asi nebude v poradku, kdyz aplikovanymi vystupy, vzniklymi jako vedlejsi a neprilis vyznamny produkt jednoho NPV II projektu, vygeneruje moje skupina 2x tolik bodu jako celou svou vedeckou produkci velkeho tymu za 3 roky, jezto byla shrnuta ve 20 publikacich vyslych v narocne oponovanych a v oboru vysoce cenenych americkych a dalsich zurnalech. Jestli se ta metodika nepredela, tak jejim vysledkem bude naprosta katastrofa. Totiz, v momente kdy se tohle proflakne, tak se vsichni vrhnou na co nejobskurnejsi temata v tech co nejobskurnejsich oborech, jenom aby publikovali v tom "nejlepsim" casopise z daneho obskurniho oboru a byli "za hvezdy"..., ktere "vydelaly" nejvice institucionalni podpory pro svou instituci. Takze za par let bude CR "evropskou rezervaci pseudovedeckeho badani a obskurizmu", kde stat za 20 mld. Kc rocne bude finacovat vyzkum, jenz bude irelevantni i pro onech 5 domacich vudcich osobnosti obskurizmu. Tohle se vazne nepovedlo!!!! PROSIM VAS!!!! ZAMYSLETE SE NAD TIM A zkuste s tim neco udelat NEZ SE TA KATASTROFA PLNE PROMITNE DO ''VEDECKE'' TVORBY V CR.... VELICE UPRIMNE VAM ZA TO PREDEM DEKUJI!!!!Peter Sebo.............   

to Zajicek: ad Fixovani v

to Zajicek:ad Fixovani v M2013: Ano, v M2013 zůstanou finanční proporce oborových skupin zafixovány. Zavedení kontrol a hodnocení monografií snad konečně  vyčístí VNIŘEK oborových skupin od nekvalitních, stále se množících výsledků. Jde o kvalitu výzkumu UVNITŘ oborových skupin. To že si oborové skupiny nemohou navzájem "vykrádat svůj rozpočet" platí už dlouho a je to dobře. Tento krok by měl pomoci kvalitě uvnitř oborových skupin. Ve společenských a humanitních vědách (SHV) to může pomoci výrazně, protože tam se monografií produkuje zdaleka nejvíce. Bohužel za toto zlepšení v SHV nikdo moc nepléduje. Protestovat lidé u nás umí dobře, ale zvednout hlas za něco něco smysluplného a pozitivního neumí nebo nechtěji (tím nemyslím Sama Zajíčka). Slyšel někdo, že by někdo ožadoval, aby se peer-review knih neodkládalo o rok a začalo se s ním hned v roce 2013?ad druhý pilíř: Nevím v čem z výše uvedeného II. pilíř pomůže. Hodnocení v II. pilíři bude částečně absolutní (vůči světovému oborovému standardu), částečně relativní (výsledky vůči sobě navzájem). Je to jakoby 1+1 bylo 2, ale i tři.(i) Školy budou muset strategizovat v tom, které výsledky do hodnocení v II. pilíři předloží. VŠ bude muset správně tipnout, kolik čeho kam (obor) jiné školy předloži. Strategizování zhorší vypovídací schopnost výsledků, protože často nebude jasné, které výsledky byly předlozeny se špatným odhadem (strategií) a které naopak shodou okolností byly předloženy do málo obsazeného oboru.Připadá-li jeden předkládaný výsledek na 10 mil. Kč, i když bude nakonec VŠ předložen, bude to strašnš malá sonda na to, aby vypovídala něco věrohodnějšího o daném pracovišti v daném oboru. Nebude nic zvláštního, když výzkumná organizace bude mít jediného kvalitního vědce a jeho výsledek tam předloži. Napřiklad naše CERGE UK má myslím rozpočet cca 10 mil., což bude odpovídat cca jednomu předkládanému výsledku do II.pilíře. To není mnoho, když uvážíme, že CERGE UK dělá nejméně 30% špičkových Jimp článků v ČR v ekonomii. Ale Univerzita Karlova  nakonec do II. pilíře nepředloži ani ten jeden výsledek z CERGE UK, protože tam předloží raději výsledek z MatFyz UK (buď proto, že ve fyzice je MatFyz v ČR ještě lepší než CERGE UK v ekonomii nebo prostě proto, že malé CERGE UK silna MatFyz UK  prehlasuje nebo proto, ze to bude nějaky strategický plán).(ii) Nevím jak se hodnotitelé shodnou na hodnocení, když se ani nesejdou, když se nebudou moci řídit absolutním měřítkem hodncoení v oboru a budou muset zařazovat výsledky relativně vůči sobě. To by každý hodnotitel musel posoudit všechny výsledky v oboru, jinak je relativně zhodnotit nemůže. A když se ti lidé ani nesejdou, jak sladí svá relativní řazení výsledků? Prostě mám pocit, že výsledek ¨hodnocení bude hodně o náhodě. Naštěstí se to do financování projeví jen minimálně. Ale proč potom tak velké úsilí vyvíjet. Prostě nevím. To by bylo mnohem užitečnější  zaměřit úsilí na zavedení subpilíře už v roce 2013.

Pilir II

Ten pilir II nevidim tak pochmurne, jako kolega Munich. Dosud se hlavni kritika kafemlejnku soustredila na to, ze kvantita podprumernych vysledku umoznila prevalcovat kvalitni vysledky tvorene s mensi frekvenci. Neco takoveho nebude mozne v piliri II. Je ovsem pravda, ze financni efekt nebude ani pro VS (ktere maji na zaklade bodovani alokovany rozpocet) zpocatku prilis vyrazny. Od nekterych komentatoru slysim, ze by se vaha pilire II mela podstatne zvysit. Povazoval bych ale za vhodnejsi, aby najezd na tento novy system byl spise pozvolnejsi a umoznil vychytat hlavni chyby driv, nez zpusobi pripadnou vetsi skodu. Osobne se domnivam, ze efekt pilire II bude zpocatku spise psychologicky nez vyrazne financni (porovnani relativni cetnosti vysledku ohodnocenych jako "A" mezi jednotlivymi institucemi). Moc nerozumim tomu, jak kolega Munich dospel k jednoznacne predpovedi, ze UK nedovoli sve CERGE predlozit ani jeden vysledek a necha to vsechno na MFF. Pokud by k tomu doslo (a pokud by rozpocet CERGE odpovidal alokaci jednoho vysledku - coz momentalne nedokazu overit), tak by CERGE mohla po pravu MFF vycist kazdy uzurpovany vysledek, ktery by spadnul do kategorie B a UK tak ochudil. Naopak, pokud by si UK byla jista, ze prave CERGE tvori jeji nejlepsi vysledky ve spolecenskych vedach, bylo by pro ni racionalni sazet prave na ne. Pojem "strategizovani" mi tu ponekud unika. Jako jedina rozumna strategie se mi jevi predkladat ty nejlepsi vysledky, ktere jsou k dispozici. Co ovsem da praci a bude znamenat premysleni (ktere boli), je zjistit, ktere to ty nejlepsi vysledky vlastne jsou. Tomas Opatrny

Kafemlejnek forever

Byť Martin Rychlík popisuje stávající situaci solidně, titulek Éra kafemlejnku končí je hodně zavádějící. Kafemlejnek totiž na kahánku v žádném případě nemá. Ten tu s námi bude přinejmenším dalších pět let a možná i déle. Připravovaná Metodika 2013 (M2013) bude totiž obsahovat pouze úpravy stávajícího kafemlejnku, přičemž jeho podstata zůstane zachovaná. Více zde...

Dve otazky

Dobry den, dve otazky: 1) V minule metodice je zafixovano mexioborove financovani. Zustane i v M13? A se stejnymi koeficienty? Pokud totiz ano a se stejnymi koeficienty, da se ocekavat, ze hodnoceni monografii ani vyrazovani vysledku na vystupu - tedy penezich - nic moc nezmeni, protoze se da ocekavat, ze v oborovem srovnani jsou nesvary i ruzne urovne publikaci vicemene stejne zastoupeny (takze se vysledky vynasobi jenom nejakym koeficientem, pro vestinu instituci vicemene stejnym, a jelikoz je zafixovano financovani, vse dopadne stejne jako v minulych letech) 2)Proc vidite druhy pilir jako tak negativni? Vzdyt prece jednim ze zakladnich problemu kafemlejnku je prave neschopnost zohlednit prumernou svetovou frekvenci vystupu (coz po oborove fixaci sice neni az takovy problem, ale vsichni vime, jak problematicke je definovat obor). Nemuze vest tento pilir - pokud se nezpacka - prave k vyrovnani techto nerovnosti? S diky, Sam Zajicek (zaslano i pod odkazovany blog)

ad cesta do pekel: peeři

ad cesta do pekel: peeři nesmí být z našich českých řad ani řad naších zahraničních kamarádů.ad názor vrstevníků: samozřejmě, některé vědecké objevy docení až vzdálená budoucnost. Větší část kvality od smetí však lze poměrně dobře odlišit již dnes.  Vědu je třeba řídit podle těch nejlepších (byť ne dokonalých) informací, které můžeme získat už dnes. Jinak to můžeme rozpustit.

peer review v ceskych zemich

Problem je historicka absence kultury peer review. Muze za to (dosud trvajici)  minimalni vzdelavani doktorandu a trenink postdoku v tom, jak podavat a prijimat zpetnou vazbu a jak delat peer review. Cesti vedci velmi casto neumi kritiku podat nebo ji neumi prijmout. Kritika se vyklada jako selhani nebo osobni utok, misto aby byla vnimana jako zpetna vazba. Bohuzel, jestli se nepodari podchytit nastupujici generaci mladych vedcu a vlnu soucasnych navratilcu, kteri maji s peer review zkusenosti a evaluaci kvality sve prace povazuji za standardni soucast vyzkumu,  tak se jeste za dvacet let budeme divit, proc peer review v CR nefunguje.

peeři

systém, založený  primárně na peer-review je přinejmenším v české kotlině cesta do pekel. každý ví, kolik vzájemných nevraživostí - osobních, žákovských (zděděných) i institucionálních - se ve vztazích uvnitř české vědy kupí. Jen blázen si bude myslet, že takové hodnocení bude objektivní.K tomu přistupuje obecnější čertovo kopýtko peer-review. Proč má být názor "vrstevníků" směrodatný? Mnoho vynikajících vědců a teorií skutečně docenila až budoucnost, vrstevníci naopak ne. Tím neříkám, že je třeba čekat na budoucnost, ale rád bych zpochybnil "objektivní pravdu" či posouzení vrstevníky.Primitivnost v objektu hodnocení. Nikoho nezajímá vědcovou učitelské působení, rozpracované projekty, zpětné vazby na realizované. Jediné, co je podstatné, je počet "napublikovaného". Lidé se mění ve stroje na psaní publikací, vědě vládne publikace jako fetiš. Výsledkem je publikační nadprodukce. Lze sice vítat, že se má nově zkoumat i kvalitativně (pro některé autory-grafomany by to byl strmý bodový pád), ale to nestačí.Pan Münich se z ekonoma nyní překvalifikoval na znalce organizace vědy a výzkumu?

Proč vynalézat velocipéd?

Kdybych měl za úkol navrhnout systém hodnocení výzkumu v Česku, vybral bych si pár států srovnatelné velikosti, srovnatelně neznámého jazyka a nesrovnatelně lepších ve výzkumu - třeba Nizozemí, Finsko a Švédsko. A jejich systém bych prostě okopíroval, měnil bych na něm jen to, co opravdu nejde přenést. Asi by nechtěli license fee, a kdyby ano, tak by na něj snad Česko ještě mělo. Aspoň kdyby sem někdo stručně napsal, jak to dělají jinde. Musíme vyždycky vynalézat velocipéd úplně od začátku?

Jak to dělají jinde

Jak to dělají jinde se lze dočíst zde.A zcela konkrétně v jedné ze studií The Quality of Research, Institutional Funding and Research Evaluation in the Czech Republic and abroad

koncept hodnoceni - proc hodnotit vsechno?

Cely koncept Metodiky je problematicky. Stary kafemlejnek, nedavne hodnoceni AV CR (a jsem si jisty, ze kazdy dalsi zpusob hodnoceni, kteri prijde, at uz prechodny nebo vymazleny draze zaplaceny finalni zpusob) zjisti jednu a tu samou vec. Na jedne strane je par spickovych vedcu a pracovist, vetsinu tvori oscilujici prumer a za nim se tahne slaby ocas. Nema smysl porovnavat lehce nadprumerne, prumerne a lehce podprumerne vedce, skupiny, ustavy. Hlavni usili hodnoceni by melo smerovat k identifikaci tech nejslabsich x% JEDNOTLIVCU na urovnich sefu (skupin, oddeleni, kateder), jejich odstraneni v pravidelnych cyklech a  nahrazeni novymi mladymi vedci, kteri by meli dostat sanci vybudovat svuj nezavisly vyzkum a sve skupiny. Jednotkou hodnoceni by mely byt primarne tymy a jejich vedouci ne instituce.  Pokud bude takova systematicka probirka nejakou dobu fungovat, zvedne se celkova kvalita vedy a podpori se v ni kultura meritokracie. Je zbytecne utracet penize na podrobne hodnoceni prumerne vetsiny. Je to naprosto zbytecne plytvani casem tech mala skutecne kvalitnich revieweru, kteri budou nakonec k dispozici. Proto staci, kdyz bude peer review hodnoceni hledat jen dostatecne malou spicku a definovane procento "sucheho drivi". Potom je rozumne reseni dat uzke spicce nadstandard (penize predem, ucty skladat pozdeji), prumeru dat standardni stabilitu (zhruba soucasny stav), slabe kusy odstranit v ramci nejakeho cyklu (tj. dutka s vystrahou + treba dva roky na napravu) a uvolnene prostredky dat novym skupinam. Mladym sefum (

týmové bláznovství

výzkumné týmy existují v přírodních a technických vědách. naopak ve společenských vědách je práce založena převážně na individuálním myšlenkovém úsilí, na žádné týmy nehraje a snad ani nikdy hrát nebude. Jistě, existují výjimky tam, kde je to věcně odůvodněné, např. tým připravující edici starých rukopisů nebo tým archeologů. Na druhé straně si nelze představit nic horšího, než třebas "týmově" provozovanou filosofii nebo historiografii.