130 let

Diskuze

Hodnocení vědy: Proč „kafemlejnek“ nemele, jak by měl

V systému, který každému výsledku bádání přiřazuje určitý počet bodů, lze snadno nahradit kvalitu kvantitou, píše Václav Hořejší.

Litujeme, ale tato diskuse byla uzavřena a již do ní nelze vkládat nové příspěvky.
Děkujeme za pochopení.
Kafemlejnek je perspektiva do roku 2021 + pár citací
V poslední době jí u nás velmi využívají zejména poskytovatelé grantů např. VaVpI, VpK, TAČR, Grantová agentura xxxx Univerzity apod. Takže člověk na začátku musí slíbit kolik článků, patentů, jiných aplikovaných výsledků atd. odevzdá. Většinou tak na horní hranici rozumnosti, protože to musí být víc, než slíbí jiní. Důsledky jsou zřejmé .... Jelikož mnozí s takovými granty teprve napřesrok začnou a 3 roky řešení + udržitelnost 5 let = 8let. Takže i kdybychom s kafemlejnkovou terminologií napřesrok přestali, zbavíme se jí, ano, asi tak v roce 2021 nebo spíše v roce 2022. Je to v tom vypuštění džina z láhve. Nemáme to ze sebe, přišli na to na "západě", ale to na hloubce problému nic nemění.  Pro zajímavost dvě  citace:Dopis A. Einsteina editorovi Physical Review 1936"Dear Sir,We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.Respectfully, Albert Einstein"A svědectví editora Nature Maddocka o historii článku Watsona a Cricka."The Watson and Crick paper was not peer-reviewed by Nature… the paper could not have been refereed: its correctness is self-evident. No referee working in the field … could have kept his mouth shut once he saw the structure "Bohužel je to tak, jak říkám. Scientometrie a víra v to, že oponentní řízení článků dokáže vyselektovat pravdu, vedla k epistemologické krizi současné přírodovědy. Svědectvím proti jsou historky o vědeckých podvodech i třeba ve 170 článcích jednoho profesora.  Především pro tuto uhlířskou víru se přírodověda nemůže dohodnout se svým přirozeným partnerem, inženýrstvím.  
0 0
možnosti

Msebek

28. 8. 2012 22:09
Jak si tedy vysvětlit, že
 Jak si tedy vysvětlit, že nejlepší články (nejzajímavější, nejpřínosnější, nepropracovanější, nejoriginálnější, nejdůvěryhodnější, …) jsou v mém oboru právě v těch 2-3 časopisech, které mají nejnáročnější recenzí řízení (typicky 5 i více anonymních oponentů, mnohá oopakování, proces často trvá i několik let), největší rejection rate, nejvyšší IF atp.? Samozřejmě, i v nich se občas objeví chyba, a třeba i hloupost, ale, právě díky tomu vstupnímu filtru, to už nebývá chyba nebo hloupost jen tak obyčejná. A naopak, i v časopise s nenáročným recenzním řízení se může objevit něco zajímavého, ale jen občas. A možná i v časopise bez recenzního řízení, ale tam opravdu jen zřídka. Je to vše opravdu jen náhoda? Nesouvisí ten rozdíl v kvalitě a dopadu časopisů právě s kvalitou a náročností recenzního řízení? Mimochodem: témata, na kterých pracujeme, samozřejmě sleduji všude, ale průběžně číst (pardon, samozřejmě často jen prolistovat) stihám právě tak jen 2-3 hlavní časopisy. Připadá vám divné, že to jsou právě ty hlavní, výše zmíněné, ty s přísným recenzním řízením. Samozřejmě existuje ještě několik desítek dalších, ale ty už průběžně prohlížet prostě nezvládnu. Jaký typ časopisů čtete vy? Ty bez recenzích řízení?
0 0
možnosti
U vás scientometrie nedegeneruje
protože jde o technický obor. A tam se předpokládá, že to někdo naprogramoval a všichni si to můžou zkusit, nebo že to někdo zkonstruoval či něco podobného. Taky nikoho nenapadne tvrdit, že je nějak méně hodnotné na základě nového principu udělat výrobek, chránit nový objev patentem nebo publikovat.Většina vášnivých obhájců scientometrie pochází z jiných oborů ........ (Mám i kolegu který má firmu i řadu publikací a ten se nechal slyšet, že když to vyjde, tak to vyrábí, když to nevyjde, tak publikuje.)Pokud jde o to, co čtu, tak 1) co si vygooglím nebo vythompson-reutersuji, 2) k čemu se z toho dostanu = vesměs to, co si někdo dal na webové stránky nebo preprinty na ArXiv . Kde to vyšlo a jestli to vůbec někdy vyšlo v podstatě nesleduji, když to funguje, je to jedno. Často to ale nefunguje nebo funguje mnohem méně obecně, než se autoři zaklínají. V Nature group nebo Science čtu hlavně komentáře a sourhnné články, to oni skvěle umějí. A taky Physics Today, tam mimo jiné taky sleduji, co vyšlo za knížky. Podle mne se vědecké publikování v nejbližší době odrazí k novému životu od něčeho mezi ArXivem a open source časopisy.
0 0
možnosti

Msebek

1. 9. 2012 12:48
No to byste se divil!
 No to byste se divil! Jenom jsem tvrdil, že „ve světě“ znamená dobrá publikace ve špičkovém mezinárodním časopise hodně i v technických oborech. Ne tak u nás. Dříve (doba před kafemlejnekm) mnozí našinci tvrdili, že publikací netřeba, že nic neznamenají, že „časopisy otisknou všechno“ atp. Většinou dodali, že „hlavní jsou aplikace“. To bývá jen výmluva. Chcete-li se přesvědčit, zda to někdo básnící o „aplikacích“ myslí vážně, zeptejte se ho kolik na nich vydělal, jak je z nich bohatý. Obvykle zalapá po dechu, a máte to. Přirozeně, dělat „aplikace“, tedy něco pro průmysl, firmy, které to užívají, vyrábějí, prodávají a vydělávají na tom, a nemít z toho nic, to je ptákovina. Kdo to tvrdí, je buď extra obchodní nešika, ale daleko častěji nemluví pravdu, a firmy ty jeho „aplikace“ k vydělávání peněz nepoužívají. Tak jaképak aplikace. O kvalitě aplikace“ hovoří peníze (pár šílenců v oblasti freeware a public domain promine). Chlubit se aplikacemi je snadné, najít nějakého troubu z firmy, který to potvrdí je také snadné. Ale neznamená to nic, dokud za to firma neplatí. teprve pak se ukáže, že o to opravdu stojí. Nyní, v době kafemejnkové, se zase honí bodíky: Patentuje se kvůli bodům z RIV, vymýšlejí se po tisících „funkční vzorky“ a dokonce se zakládají české-slovenské-středoevropské časopisy, které jsou v SCI a přesto otisknou každou pitomost, plagiát atp. V mém oboru třeba „Radioengineering, Electrical Engineering, Przeklady Electrycne, atp. Shrnuto: Nic špatného se nestalo, ale ani nic dobrého! Scientometrie a kafemejnek v ČR moc nepomohly, ale také nic nepokazily! Mizérie převládala před nimi a mizérie převládá i po nich. Jak by také ne, když k žádným podstatným změnám dosud nedošlo? Scientometrie sem nebo tam, kolem jsou pořád stejní kolegové a nic s nimi nehne. Tak proč kritizovat zrovna scientometrii? Proč ne třeba trpaslíky? Problém je jinde!
0 0
možnosti
Scientometrie a kvalita (viz ERC)
Z druhého soudku - myslím, že scientometrie se hodí přesně k tomu, k čemu ji využívá ERC pro Advanced Grants : aby ukázala kdo má na ten "Scientific leadership", kdo je schopen komunikovat na mezinárodní úrovni a dostat se tam i do politicky dost vlivné pozice aby dokázal své výsledky uplatnit. Nic proti tomu - abychom efektivně dokázali čerpat ze světové vědy takové lidi nezbytně potřebujeme. To by mělo být hodnocení prvního kola.V druhém kole je třeba odfiltrovat kdo byl jen vědecký politik a kdo věci  opravdu rozumí. A tento poznatek nám scientometrie nedá, na to je třeba peer review. PS: Tomu. co se v tomto smyslu dělo v posledních letech v Česku, se moje příspěvky moc nevěnují. Spíš mi jde o budoucnost a o to, abychom se nepřipravovali na předminulou válku. Tu jsme prohráli a tu minulou, scientometrickou, až na výjimky jakbysmet.  
0 0
možnosti

Msebek

2. 9. 2012 21:43
Jenomže
velká část křiku proti scientometrii je od těch, kteří by se rádi vrátili zpět do minulosti, kdy všichni "věděli" a partu kamarádů žádné počítání článků nebo, fuj, citací netrápilo.
0 0
možnosti
To taky vím
A štvalo mne to po léta, ale zároveň mám taky máslo na hlavě, protože jinak jsem to mohl zabalit. Posléze jsme díky kafemlejnku vcelku klidně žili. Kdo jiný  měl až 60% peněz z kafemlejnku? Jenže nás to poslalo na vcelku zvrhlou trajektorii podpory člověka, který udělá 60 publikací ročně. V tzv. dobrých časopisech, i když i on se často diví, jak náš kafemlejnek řadí časopisy podle významnosti. ( Což je další zajímavý problém k diskusi.)Kdybych byl kdysi přistoupil na jeho nabídku, že mne bude připisovat, dnes bych se tu posmíval, že mám 200 dobrých publikací. Co na tom, že s nimi někdy  nesouhlasím nebo je považuji za rutinu. Body za technologie, které jsme udělali a dokonce museli udělat kvůli slíbeným výsledkům projektů, mne tohoto dilematu zbavily. Je to dobře nebo špatně - podle mne dobře. "Pragmatismus znamená dospět k výsledku, který nám připadá hodnotný cestami, které k němu vedou." Ano, tak trochu tím říkám, že řešíme problém na jiné úrovni, v principu srovnatelné s pracovišti typu ISTA. (Taky jsme byli v rámci JU zrušeni .. :-) ) Ale určitě v tom nejsme sami a i jiná pracoviště trápí, že v jednom sboru pějí ti, co touží po starých spřátelených časech, i ti, co vidí na konec současné podoby scientometrie, který není daleko. 
0 0
možnosti
Scientometrie je problém obecně
 právě kvůli nesmyslnému hodnocení podle IF za 3 roky a z něj vyplývající síle recenzních a citačních bratrstev. Kdyby se za převažující hodnocení bral citation half time, třeba v kombinaci s IF 5 years, všechno by bylo o hodně zdravější.  Ale zřejmě je open acces elektronický publishing se se scientometrií shcopne více-méně srovnat. Což ukazuje existence žurnálu Plos One: ...PLOS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound. Judgments about the importance of any particular paper are then made after publication by the readership (who are the most qualified to determine what is of interest to them). ....Ten bere 7 článků z 10 a přesto má IF 4.4. Tento systém peer review také ruší bariéru "významu pro obor".  Tím ovšem k tomu, aby člověk poznal, co je v daném oboru důležité a co ne, mu takový peer reviewing nepomůže. To se musí spolehnout na google. Nebo na vyhledávač přímo v Plos One. 
0 0
možnosti

Msebek

2. 9. 2012 21:40
Na scientometrii
je dobré, že se vůbec něco "měří" (přes všechnu kritiku). Srovnejte se zažitou situaci, kdy "měřit" vůbec netřeba, protože přece "všichni víme", že Franta, Honza a Tonda "jsou dobří", i když kde nic tu nic. Dosud se velkým šéfem mohl stát kdokoli, výsledky nevýsledky. Dokonce byly nevýsledky výhodou, zdá se ze statitik. Neboť senát zvolí raději toho, kdo nic nemá a tedy většinu neohrožuje.
0 0
možnosti
Každá univerzita by si měla ve vlastním zájmu dělat pořádek sama
A nést za to zodpovědnost. Tak to bylo po tisíce let. Jaký pořádek si univerzita udělá, takovou reputaci má.Naše univerzity ( a mnohé jiné na světě) se rozhodly, že svou zodpovědnost  přenesou na někoho jiného. A tak získali navrch lidé konformní s tím, kdo tu zodpovědnost, opět šikovně decentralizovaně a anonymizovaně, má.Taková je ta amica veritas . Kroků k tomu to změnit je třeba spousta a doufejme, že svět to začíná chápat. Viz třeba instrukce k hodnocení RFE. Cíl je skutečně daleko za českým horiziontem, ale dosahování českého horizontu už dávno vedlo k úplné degeneraci diskuse na politické přetahování kdo víc váží. 
0 0
možnosti
  • Vybrali jsme pro Vás