Denník N

Ako merať excelentný výskum?

V prvej časti našej série sme sa snažili pozrieť na to, čo je to excelentný výskum. V druhej časti sa zameriame na to, ako je možné excelentný výskum odmerať.

Snaha merať excelentnosť prichádza ruka v ruke s konceptom tzv. spoločnosti auditu. V takejto spoločnosti musí môcť byť všetko overiteľné, aj keď nie všetko bude overené. Teda všetko je vytvárané v tom zmysle, že všetko môže byť niekedy skontrolované nejakou autoritou, aj keď to skontrolované nemusí byť. Toto si vyžaduje sústrediť sa na štruktúry, procesy, internú kontrolu kvality a nie na overenie výsledkov.[1]

Diskusie ako merať excelentný výskum sa vo väčšine prípadov zameriavajú na makroúroveň. Teda ako merať excelentný výskum na úrovni štátu alebo regiónu. Existujú tri prístupy ako to urobiť:

  1. analýza na základe dát,
  2. peer-review proces,
  3. kombinácia oboch.

Pre využívanie dát bolo identifikovaných viacero indikátorov, resp. následne kompozitných indikátorov, ktoré by mali tvorcom politík uľahčiť orientáciu. Pričom jedno nevylučuje druhé a peer-review sa stále používa ako časť hodnotenia. Len samotná analýza tvrdých dát nám neumožní dostať sa pod povrch, na to je naozaj potrebná realizácia peer-review, rozhovory so stakeholdermi, ktoré by mali overiť získané dáta.

Na makroúrovni nastal výraznejší posun od peer-review procesu k dátam. Hlavným dôvodom bola snaha eliminovať subjektívne hodnotenia. Pri hodnotení excelentnosti identifikovalo JRC štyri indikátory, ktoré majú merať najkvalitnejšie výstupy výskumných aktivít na národnej úrovni:

  • počet vysokocitovaných publikácií (top 10% najcitovanejších publikácií (vo všetkých oblastiach) na celkový počet publikácií (HICIT)).
  • počet kvalitných patentových prihlášok (počet patentov v rámci Patent Cooperation Treaty (PCT) na milión obyvateľov (PCTPAT));
  • počet univerzít a výskumných inštitúcií svetovej kvality (počet inštitúcií v krajine medzi top 250 univerzitami a 50 výskumnými inštitúciami na investície do výskumu a vývoja (TOPINST));
  • počet prestížnych výskumných grantov (celkový počet ERC grantov na verejné investície (univerzity a verejný sektor) do výskumu a vývoja).

Prvýkrát bol tento indikátor použitý v roku 2013 v správe Európskej komisie Innovation Union Competitiveness report.[2] Autori uvádzajú, že bol vytvorený s cieľom „merať excelentný výskum v Európe, dopady na európske a národné politiky, modernizáciu európskych inštitúcií, životaschopnosť európskeho výskumu a kvalitu výstupov základného a aplikovaného výskumu“.[3]

Práve na základe tohto indikátora sa rozdeľujú krajiny pri podpore európskych projektov, napríklad v Horizonte 2020 pri Šírení excelentnosti a rozširovaní účasti.

Na mikro úrovni, teda na úrovni hodnotenia výskumných inštitúcií,[4] projektov a samotných vedcov je situácia zložitejšia a do oveľa väčšej miery sa využívať peer-review proces, a to najmä pri hodnotení projektov. Pri samotných vedcoch sa používa skôr kombinácia s bibliometrickými údajmi. Využívanie dát pri hodnotení je lacnejšie, menej nákladnejšie, transparentnejšie a objektívnejšie. Čisté využívanie týchto nástrojov si však nemôžeme zamieňať za indikátor výskumnej excelentnosti. Napríklad systém publikovania vedeckých článkov funguje na základe rovnakého peer-review procesu, ktorý je často kritizovaný ako subjektívny. Navyše aj medzi impaktované časopisy sa môžu dostať predátorské periodiká, čo nie je úplne neobvyklá situácia na Slovensku.[5] Dokonca aj expertná skupina, ktorá stála za vytvorením kompozitného indikátora akceptovala peer-review ako vhodný nástroj na hodnotenie projektov.

Pri hodnotení výskumných inštitúcií alebo výskumníkov na základe týchto indikátorov je však potrebné byť nesmierne opatrný. Ide predovšetkým o indikátor najcitovanejších článkov a umiestnenie univerzít v rôznych rebríčkoch. Tieto sa dajú totiž jednoducho aplikovať aj na úrovni inštitúcií, čo môže zvýšiť možnosť negatívnych stimulov (perverse incentives) pre výskumníkov. Inštitúcia sa teda s cieľom posunúť sa v rebríčkoch vyššie zameria na tie oblasti, v ktorých sa produkuje viac článkov a úplne rezignuje na prelomový alebo rizikovejší výskum.[6] V krátkodobom hľadisku sa tak v rebríčkoch posunie vyššie, ale z dlhodobého hľadiska bude klesať. Z pohľadu indikátorov sa takáto inštitúcia môže stať excelentnejšou, ale v skutočnosti môže na tom byť horšie ako predtým.

Nevýhodou využívania len bibliometrických nástrojov je, že ide predovšetkým o kvantitatívne nástroje, pričom excelentný výskum nesúvisí priamo s impakt faktorom časopisu, v ktorom bol článok publikovaný, počtom citácií a počtom publikácií. Samozrejme, že existujú isté korelácie, avšak nekritické využívanie len bibliometrických nástrojov môže viesť k nesprávnym záverom. Navyše je potrebné opäť rozlišovať jednotlivé vedné oblasti a odbory, ako aj miesto realizácie výskumu. Ak vedec pracuje v oblasti, ktorá má jasne etablované metódy a je navyše populárna, tak môže vyprodukovať viac publikácií a získať aj viac citácií, čo však nemusí priamo znamenať, že ide o excelentný výskum.[7] Pre vedcov pôsobiacich v USA alebo vo Veľkej Británii je podstatne ľahšie publikovať v Science alebo Nature ako pre vedcov v Austrálii, Južnej Afrike alebo na Slovensku. Ich výsledky nemusia byť teda publikované, čo môže vytvárať dojem, že nejde o vysokokvalitný výskum. Vedci potom musia riešiť otázky, či robiť výskum, ktorý má význam v ich kontexte, alebo výskum, ktorý bude pravdepodobne publikovaný.[8] Toto môže byť závažné najmä ak inštitúcia (grantová agentúra, vláda) vyžaduje od výskumníkov, aby každý rok publikovali určitý počet publikácií.

Druhou možnosťou ako merať excelentnosť je už zmieňovaný peer review proces. Jeho nevýhodou je však pomerne vysoká časová náročnosť a zároveň vysoké požiadavky na členov takýchto panelov. Nemali by to byť len veľmi dobrí vedci, ale mali by mať aj otvorenú myseľ k tomu, čo je to znamená excelentný výskum vo vlastnom odbore. Ďalšou nevýhodou je istá miera subjektivity, ktorej sa nedá úplne vyhnúť. Z toho môžu vyplývať obvinenia z hrania hier, konzervatívneho posudzovania projektov, prípadne konfliktov záujmov. To môže mať negatívny vplyv napríklad na výskumníkov v nových oblastiach, ale aj na výskumníkov v už etablovaných disciplínach, ktorí však prichádzajú s prelomovými nápadmi. Niektorí vedci kritizujú peer-review za vytváranie nezdravej súťaživosti medzi výskumníkmi, čo môže viesť k negatívnym hodnoteniam ich výskumu.[9] Efektívnosť je ďalšou problémovou oblasťou. Zvyčajne ide totiž o pomerne časovo aj finančne náročný proces.

Avšak na rozdiel od čisto bibliometrického prístupu dokáže lepšie zhodnotiť excelentnosť. Navyše, keďže ho realizuje skupina expertov, tak existuje možnosť vzájomnej opravy. Pri peer-review je teda najdôležitejšou výzvou výber špičkových expertov.

Jedným z problémov, ktorý stále pretrváva je, že zvolené merateľné ukazovatele excelentnosti vôbec nezahŕňajú vzdelávanie, čo je však veľmi dôležitá súčasť vedomostnej ekonomiky. Predovšetkým v prípade univerzít sú študenti hlavným výstupov a „produkcia“ vysokovzdelaných absolventov, ktorí vstupujú na trh práce by mala byť jedným z kritérií hodnotenia excelentnosti aj vo výskume.[10]

Možné „indikátory“ excelentného výskumu

Napriek nedostatkom, ktoré boli uvedené vyššie môžeme medzi potenciálne „indikátory“ excelentného výskumu zaradiť:

  • publikácie vo vysokoimpaktovaných časopisoch,
  • citácie,
  • Hirschov index,
  • monografie, ktoré boli preložené do cudzieho jazyka,

V rámci samotného projektu je možné hodnotiť:

  • originalitu vedeckého prístupu a/alebo vývoj nových znalostí,
  • mieru, do akej projekt prináša nové riešenia, resp. ide za aktuálny stav znalostí (state of art),
  • jasná špecifikácia otázok, hypotéz a cieľov projektu,
  • teoretický rozmer, realizovateľnosť a používanie vedeckých metód,
  • zdokumentovaná znalosť aktuálneho stavu výskumu v oblasti,
  • úroveň do akej je vedecká báza projektu realizovateľná,
  • vedecký rozmer v oblasti multidisciplinárneho alebo interdisciplinárneho prístupu.

V tretej časti sa pozrieme bližšie na to, ako hodnotiť dopad projektov.

Daniel Straka, výkonný riaditeľ SOVVA

 

[1] Sørensen MP, Bloch CW, Young M., Measuring, s. 8.

[2] https://ec.europa.eu/research/innovation-union/pdf/competitiveness_report_2013.pdf

[3] European Commission, Reserach and Innovation performance in EU Member States and Associated countries: Innovation Union progress at country level, Brussels, 2013, s. 321. https://publications.europa.eu/en/publication-detail/-/publication/2ffbf43e-f0c6-11e5-8529-01aa75ed71a1/language-en

[4] Aj keď na svete je niekoľko výskumných inštitúcií a univerzít, ktoré sú väčšie ako celý slovenský výskumný sektor.

[5] https://dennikn.sk/1006308/fingovanie-vedy-v-praxi-za-vedecky-clanok-staci-poslat-300-euro-na-ukrajinu/?ref=tit

[6] Sørensen MP, Bloch CW, Young M., Measuring, s. 14.

[7] Walloe, L., The meaning, s. 3n.

[8] Mendé, E., Evaluation, s. 4.

[9] Mendé, E., Evaluation, s. 3.

[10] Sørensen MP, Bloch CW, Young M., Measuring, s. 13.

Ostatné blogy:

  1. Časť – Ako hodnotiť excelentnosť vo výskume a inováciách. 

Tento projekt je podporený z Európskeho sociálneho fondu.

Teraz najčítanejšie

SOVVA

Slovenská organizácia pre výskumné a vývojové aktivity (SOVVA) je mimovládnou neziskovou organizáciou s celoštátnou pôsobnosťou, ktorej cieľom je podporovať výskum a inovácie na Slovensku. Aktivity SOVVA sa zameriavajú na päť oblastí: • Výskumné a inovačné politiky • Analýzy a hodnotenia • Popularizácia vedy • Prepájanie vedy a spoločnosti • Spolupráca medzi akademickými inštitúciami a priemyslom