Denník N

Psychológovia masovo preverovali slávne štúdie a spochybnili väčšinu prác z top časopisov

ILUSTRAČNÉ FOTO - TASR
ILUSTRAČNÉ FOTO – TASR

Psychológovia publikovali doteraz najsystematickejší test samých seba. V priebehu troch rokov zopakovali sto experimentov, zisťovali, či dostanú rovnaké výsledky.

Ako to Brian Nosek, psychológ z univerzity vo Virgínii, dokázal, nie je úplne jasné. Za viac ako tri roky sa mu podarilo presvedčiť skoro 300 kolegov, aby zopakovali sto pôvodných psychologických experimentov. Skúmali, či dostanú rovnaké výsledky.

Ide o výsledok projektu „Otvorenej vedy“, vedie ho Nosek. Výsledná štúdia, ktorú tento piatok publikoval prestížny časopis Science, je úplne prvým systematickým pokusom o zmapovanie otázky, ktorá psychológov trápi už desaťročia. Koľko dát z psychológie je spoľahlivých?

Psychológia pod paľbou kritiky

Odpovedať na ňu sa v poslednom období stalo obzvlášť akútne, psychológia sa ocitla pod paľbou tvrdej kritiky. Aj v špičkových časopisoch sa objavilo zopár článkov, ktoré písali o neexistujúcich fenoménoch. Najznámejším prípadom je zrejme štúdia od inak rešpektovaného psychológa Daryla Bema o takzvanom pred-poznaní (precognition).

Bem navrhol deväť experimentov a myslel si, že v nich dokázal existenciu parapsychologického javu, podľa ktorého budúcnosť ovplyvňuje minulosť. Nasledovala skoro nekonečná lavína kritiky – štúdii vytýkali zlú metodológiu, závery sa viackrát nepodarilo zopakovať. James Alcock, psychológ z univerzity York v Toronte, vtedy napísal: „Všetko, čo sa na tomto experimente dalo urobiť zle, zle urobili.“

Problém je však oveľa širší, už v minulosti sa nepodarilo zopakovať výsledky ani tých štúdií, ktoré považujeme za klasické.

A potom tu boli excesy v podobe zámerných podvodov. Zrejme najznámejším hriešnikom tohto druhu bol Diederik Stapel, psychológ z univerzity v Tilburgu. Stapel si systematicky vymýšľal dáta, usvedčili ho v roku 2011. Postupne stiahli až 55 jeho článkov. Venoval sa sociálnemu primingu, štúdiu neuvedomovaného vplyvu vecí a ľudí na naše správanie. Ľudí sa napríklad pýtate na citlivé témy – homosexualitu alebo migrantov – v okolí civilnej či cirkevnej budovy a pozorujete, či sa ich odpovede líšia.

Tento, ale aj iné škandály viedli v roku 2012 Daniela Kahnemana z Princetonu, držiteľa Nobelovej ceny za ekonómiu, k tomu, že napísal otvorený list, v ktorom vyjadril znepokojenie nad situáciou v oblasti sociálneho primingu. Apeloval na vytvorenie robustných kontrolných mechanizmov, ktoré by dáta opakovane testovali a overovali.

Publikačný bias, manipulácia s dátami

Medzi príčiny tohto neblahého stavu patrí napríklad publikačný bias. Ide o chybu, podľa ktorej majú časopisy tendenciu publikovať len pozitívne výsledky. Ak sa hypotéza nepotvrdí, článok často skončí v zásuvke, pretože – akoby – nie je čo prezentovať.

Výskumy, ktoré by nejakú psychologickú teóriu mohli poprieť, tak veľakrát vôbec nevytlačia. Výsledkom je pokrivený obraz o danej teórii – dôkazov proti nej je veľa, ale do tlače sa dostanú len tie, čo ju potvrdzujú.

Potom je tu zámerná (ale aj neuvedomovaná) manipulácia s dátami. Predstavte si, že máte 100-tisíckrát hodiť mincou, padnúť môže panna alebo orol. Dostanete rôzne sekvencie, niekedy možno padne 10-krát za sebou orol, inokedy zase 10-krát panna. Potom záleží len na vás, na ktorú časť údajov sa zameriate, aby ste dostali tie z nich, ktoré sú v súlade s vašou hypotézou.

V anonymnom dotazníku, ktorý Johnová a jej tím rozoslali v roku 2012 viac ako 2-tisíc psychológom, sa viac ako 50 percent z nich priznalo k tomu, že umelo predlžujú zber dát až do momentu, keď sa konečne dopracujú k dátam, ktoré sú v súlade s ich zadaním. Inými slovami, čakajú na to, až im padne ich 10 orlov, ak si ich dali do hypotézy.

Zosmiešňovanie, dokonca šikanovanie

Na druhej strane, neschopnosť zopakovať niektoré štúdie viedla v určitých prípadoch až k prehnaným reakciám – nasledovalo zosmiešňovanie, dokonca šikanovanie autorov pôvodných štúdií.

Napríklad Simone Schnallová a jej tím zistili, že morálne súdy jedincov, ktorí si umyjú ruky, sú menej prísne. Ide o verziu takzvaného „efektu Macbeth“, podľa ktorého prispieva fyzická očista k odstráneniu vlastných morálnych prehreškov. Inými slovami, voda zmyje nielen fyzickú špinu, ale aj morálnu.

Výsledky experimentu sa nepodarilo zopakovať – nasledoval hon na čarodejnice, Schnallovej sa museli zastať kolegovia.

Zopakovali len tretinu výsledkov, klesla aj veľkosť účinku

Vidíme, že ide naozaj o veľa. V stávke je reputácia psychológie. Je vôbec dôveryhodná? Ide skutočne o vedu?

Čo teda tím skoro 300 psychológov z projektu „Otvorenej vedy“ okolo Briana Noseka zistil?

Do výskumu zaradili 100 štúdií z troch najprestížnejších psychologických časopisov. Z nich 97 vykazovalo štatisticky významné výsledky. Keď experimenty zopakovali, ich počet klesol na 36 percent.

Porovnávali aj veľkosť účinku. Ak vám experiment napríklad ukazuje, že po sladkých nápojoch sme tučnejší, veľkosť účinku vám povie, o koľko. Čo tímy ľudí okolo Noseka zistili, vzbudzuje obavy – v priemere dosahovala veľkosť účinku len polovičné hodnoty pôvodných experimentov.

Najlepšie dopadli experimenty z kognitívnej psychológie – zaoberá sa pamäťou, učením a podobne. V jej prípade bola pravdepodobnosť, že sa výsledky podarí replikovať, dvojnásobná v porovnaní s experimentmi zo sociálnej psychológie (týka sa toho, ako na nás vplývajú iní ľudia).

Je 36 percent veľa alebo málo?

Otázne je, ako výsledky interpretovať. Je 36 percent málo, veľa alebo optimum? „Vo vede musíte riskovať a posúvať hranice, takže aj v ideálnej vede dostanete falošné dáta, inými slovami, objavíte fenomén, hoci tam žiaden nie je,“ povedal pre Atlantic Sanjay Srivastava, psychológ z univerzity v Oregone.

Brian Nosek je z projektu nadšený. „Projektu venovali autori svoj voľný čas, vedeli pritom, že za účasť na ňom nedostanú žiadne zásluhy,“ povedal pre Atlantic.

„Táto práca je naozaj heroická,“ dodal Jason Mitchell, psychológ z Harvardu. „Už len počet ľudí, ktorí boli do projektu zapojení, a pozornosť, akú mu venovali, ohromuje. Ide o príklad vedeckej práce, aká by mala byť – seba-kritická, všetko spochybňujúca, obzvlášť vlastné predpoklady, metódy a zistenia,“ dodal.

Kľúčom je pred-registrácia hypotéz

Otvorenosť a neustále spochybňovanie všetkého sú dôvodom toho, prečo je veda v opise sveta taká úspešná. Psychológia môže za tvrdými vedami pokrivkávať v hodnovernosti dát, ale ona nepracuje ani s atómami, ani s chemickými zlúčeninami, ale s niečím tak ťažko uchopiteľným, ako je človek.

To neospravedlňuje horšiu spoľahlivosť dát z psychológie. Ale, ako vidíme, psychológovia sa snažia, aby ich dáta boli relevantné. Jedným z najviac diskutovaných mechanizmov, ako robiť psychológiu lepšie, je takzvaná pred-registrácia.

„Povedané jednoducho, ak musíte vopred stanoviť, akú máte hypotézu a ako ju chcete testovať, potom tam nie je žiadny priestor na manévrovanie a selektívne vyberanie tých dát, ktoré vám najviac vyhovujú,“ povedala pre Atlantic Dorothy Bishopová, neuropsychologička z Oxfordu. Niektoré časopisy už k tejto praxi pristúpili.

Dostupné z: DOI: 10.1126/science.aac4716.

replikačná kríza

Teraz najčítanejšie