Slovenské hodnotenie vedy nedokáže identifikovať výrazný publikačný úspech

Autor je sociológ

Za posledné roky sme si zvykli na tri pravidelne sa opakujúce negatívne správy o našej vede a vysokom školstve. Prvá prichádza v konštatovaní, že žiadna univerzita zo Slovenska sa opätovne neumiestnila v prvej päťstovke. Druhá je spravidla spojená s naším neúspechom v súťaži o granty Európskej rady pre výskum (ERC) a tretia hovorí o umiestnení Slovenska v rebríčku Nature index.

Kým prvá informácia je aj správou o rozdrobenosti sektora vysokých škôl, v ktorom pôsobí relatívne veľa relatívne malých univerzít a na umiestnenie v prvej päťstovke „šanghajského“ rebríčka by azda stačilo administratívne zlúčiť dve najväčšie univerzity tak, aby sa ich vedecký výkon spočítal (viaceré rebríčky zvýhodňujú veľké univerzity, lebo výkon neprepočítavajú na počet zamestnancov), druhé dva problémy takéto jednoduché riešenie nemajú.

Málo „gólov“ v lige majstrov

Tak naše mizerné umiestnenie v Nature index, ako aj naše chabé úspechy v celoeurópskej súťaži o vedecké granty ERC majú jedného spoločného menovateľa. Vedci na Slovensku produkujú málo článkov v najlepších vedeckých časopisoch (t. j. takých, ktoré publikujú len zlomok spomedzi zaslaných rukopisov). Na vysvetlenie treba uviesť, že Nature index je rebríček, ktorý spočítava články od autorov so slovenskou afiliáciou v 82 najlepších časopisoch (pôvodne 68) z oblasti prírodných vied. Ktoré časopisy do tohto výberu patria, vybral panel aktívnych vedcov najmä z USA a zo západnej Európy.

Ak sa pozrieme na aktuálny rebríček Nature index, vidíme, že za rok 2017 malo 131 článkov autora alebo spoluautora zo Slovenska. Obdobné číslo za ČR je 619, za Maďarsko 329, Poľsko 782, Chorvátsko 175 a za Slovinsko 168. Čo je však pre umiestnenie v tomto rebríčku kľúčové, je prepočet na „celé“ články, keďže veľká väčšina článkov má autorov viacero.

V tomto prepočte sa článok, ktorý má len jedného autora, počíta ako 1, no článok, kde je slovenský autor jedným z desiatich, sa počíta ako 0,1. Po takomto prepočte klesne počet slovenských článkov na 14, českých na 191, maďarských na 76 a poľských na 217. Ak teda slovenskí autori v časopisoch z Nature index publikujú, tak v porovnaní s vedcami z okolitých krajín omnoho častejšie ako členovia veľkých medzinárodných autorských kolektívov.

V druhej lige sme konkurencieschopní

Iné porovnanie ponúka počet článkov v časopisoch zaradených v databáze Scopus. Kým Nature index eviduje aktuálne 82 časopisov, databáza Scopus obsahuje články v cca 23 000 časopisoch. Ak porovnáme články v tejto databáze, nájdeme tam za minulý rok 7938 článkov, ktoré majú autorov alebo spoluautorov zo Slovenska. Tieto čísla sú pre okolité krajiny nasledovné: ČR 22 693, Maďarsko 9960, Poľsko 41 609. Ak zoberieme do úvahy fakt, že na Slovensku pracuje asi 38 % z počtu vedcov v ČR, priepastný rozdiel v produktivite naznačovaný Nature index je preč. Databáza Scopus neponúka prepočet na autorské podiely, v tomto prípade preto nemáme prepočet na „celé“ slovenské články tak, ako v Nature index.

Ak je teda „hrubá“ produktivita slovenských vedcov približne porovnateľná s ČR, prečo je naše umiestnenie v Nature index také mizerné? Na vysvetlenie použijem športovú analógiu. Publikovanie článku v časopise evidovanom v databáze Scopus môžeme prirovnať k streleniu gólu za akýkoľvek klub, ktorý hrá minimálne v druhej lige. Naopak, publikovanie článku v jednom z časopisov v Nature index môžeme zjednodušene prirovnať k streleniu gólu v lige majstrov. Naši hráči teda v druholigových súťažiach skórujú podobne často ako hráči z iných krajín. Málo gólov sa im však darí strieľať v lige majstrov.

Gól ako gól

Čo keď je to teda tak, že jednoducho disponujeme len priemernými vedcami, ktorým sa darí publikovať v bežných časopisoch, no o ich výsledky v tých najprestížnejších časopisoch už záujem nie je? To je jedno z vysvetlení skeptikov. Pokračujme však chvíľu vo svojej športovej analógii. Predstavme si, že by bol gól v zápase Slovana s Trnavou v kariére futbalistu ocenený rovnako ako to, že strelil víťazný gól vo finále ligy majstrov.

Nepredstaviteľné? Možno, no je to veľmi podobné situácii v hodnotení vedeckých výsledkov vysokých škôl u nás. Slovenský spôsob rozpočítavania financií za vedecký výskum nedokáže odlíšiť skutočne výrazné vedecké úspechy v podobe článkov v tých najvyhľadávanejších vedeckých časopisoch. Dobre informovaný čitateľ si môže položiť otázku, či tento problém ešte pretrváva. Od roku 2017 sa totiž aj spomínaný systém hodnotenia snaží bonifikovať publikovanie v tých „vychytenejších“ časopisoch.

Rozlišovanie kvalitných a menej kvalitných časopisov nefunguje v spoločenských vedách

Aktuálny systém používa na rozlíšenie kritérium citovanosti časopisov v databáze Scopus. Následne rozdelí časopisy na štvrtiny, pričom články v tej najcitovanejšej štvrtine časopisov odmeňuje najviac. Vzhľadom na skutočnosť, že databáza Scopus je naozaj rozsiahla, obsahuje aj vedecké časopisy, ktoré nehrajú už ani v druhej lige, ale skôr bojujú o vypadnutie z tej tretej. A o niektorých sa hovorí, že aj podplácajú rozhodcov. Ak sa pozrieme napríklad na takto definované špičkové časopisy v oblasti spoločenských vied, nachádzame tu ukrajinský časopis, v ktorého mene mi pred pár rokmi bolo ponúknuté, že by sme sa s časopisom, kde som bol redaktorom, mohli vzájomne citovať, aby sme si vylepšili citovanosť.

Alebo rumunský časopis zo zoznamu predátorských časopisov, ktorý ako vedecké články publikuje aj kompiláty iných textov. Či časopis od našich západných susedov, o ktorom mi český kolega povedal, že tam články posielajú len vtedy, ak im ich všade inde odmietli publikovať. Nájdeme tam aj „najlokálnejší“ (t. j. publikujúci takmer výhradne články z univerzity, ktorá časopis vydáva) český vedecký časopis v Scopuse alebo časopis, ktorý vydáva s. r. o. z Nitry, ktorej konateľ je manželom šéfredaktorky tohto časopisu. V týchto piatich časopisoch vyšlo 36 % článkov identifikovaných ako to najlepšie z aktuálneho hodnotenia časopiseckej produkcie univerzít v spoločenských vedách.

Rozlíšenie nefunguje ani v iných vedách

Ak sa pozrieme na kategóriu humanitných vied, kritérium najcitovanejšieho kvartilu v Scopuse zlyháva ešte viac, zrejme aj preto, že hodnotiť časopisy podľa citovanosti sa pre humanitné vedy hodí najmenej. Viac ako 80 % týchto najlepších článkov vyšlo v domácich česko-slovenských časopisoch, prípadne v niektorom z vyššie spomínaných časopisov alebo v ďalších časopisoch vychádzajúcich na Ukrajine či v Moldavsku. V „tvrdých“ vedných disciplínach v tomto zozname nachádzam menej takýchto úplne „exotických“ kúskov (azda aj preto, že sa v týchto oblastiach orientujem menej).

Je však fakt, že aj tu väčšina takto definovaných špičkových článkov vyšla v časopisoch patriacich len do druhého alebo tretieho kvartilu podľa citovanosti v selektívnejšej databáze Current Contents. Pre tieto disciplíny tiež platí, že články v megažurnáloch PLOS One či Scientific Reports, ktoré publikujú akékoľvek korektné vedecké zistenia a neberú ohľad na dôležitosť či novosť zisteného, ako to robia tradičné časopisy, sú hodnotené rovnako ako publikácie vo vysoko selektívnych časopisoch ako Nature alebo Proceedings of the National Academy of Sciences of the United States of America.

Platí, že systém, ktorý nedokáže článok v Nature ohodnotiť lepšie ako článok v PLOS One, či systém, ktorý článok v nitrianskom časopise XLinguae zaradí do rovnakej kategórie ako článok v American Sociological Review, nastavuje pre slovenské vedecké prostredie mizerné motivácie, keďže nerozlišuje medzi ligou majstrov a druhou či treťou časopiseckou ligou.

Ako to súvisí s ERC

Ako súvisí (ne)schopnosť systému hodnotenia vedy odmeniť skutočne významné publikačné úspechy? Tak, že uprednostňuje kvantitu pred kvalitou. Ak však podávate ERC grant, nikoho nezaujíma, že ste už odpublikovali 50 článkov v (pod)priemerných časopisoch.

Ak váš zoznam publikácií neobsahuje články v tých najselektívnejších časopisoch vo vašom odbore, mať len dobrý nápad na grant nestačí. Ak ste však vo svojom domovskom prostredí odmeňovaný „od kusa“, neoplatí sa na takéto články zameriavať, lebo spravidla stoja viac úsilia i času. Mieriť na istotu – teda publikovať veľa priemerných článkov – sa v tomto systéme vypláca viac.

Podobne tento systém nemotivuje manažment fakúlt získať a udržať si vedcov schopných publikovať v tých najlepších časopisoch. Systém teda nielen nezvýhodňuje autorov schopných zaujať globálne vedecké časopisy, on de facto takýchto autorov znevýhodňuje tým, že v kvantite výstupov ich ľahko predbehnú vedci rutinérsky publikujúci v priemerných, podpriemerných či priamo podvodníckych časopisoch. Vedci s takýmto publikačným profilom však hodnotiaci panel ERC, hľadajúci dôkaz mimoriadnych schopností, nezaujmú.

Čo robiť

V situácii, keď sa západný svet, v ktorého konkurencii hodláme uspieť, pri hodnotení vedy čoraz viac  zameriava na kvalitu, by sme mali rýchlo opustiť systém, ktorý počítaním čiarok a nedostatočným rozlišovaním vedeckých časopisov preferuje kvantitu nad kvalitou výstupov. Ak britský systém hodnotenia očakáva od vedca štyri špičkové výstupy za šesť rokov (hodnotenie REF 2014) a motivuje tak k publikovaniu v tých najlepších časopisoch, nemá zmysel počítať čiarky za akýkoľvek článok v databáze Scopus.

Ako omnoho validnejšie kritérium hodnotenia dôležitosti článku je možné použiť jeho umiestnenie v databáze Curent Contents (horný kvartil alebo decil) a články, ktoré vyšli v časopisoch zaradených v Nature index, bonifikovať napríklad ešte extra. Táto zmena by mohla byť jedným z kamienkov v mozaike zmien, ktoré potrebujeme, ak sa chceme do budúcnosti vyhnúť intenzívnym pocitom zahanbenia pri porovnaniach s vedecky vyspelým svetom.