Denník N

Ako robiť experimenty vo verejnom sektore

Joshua Angrist a Jörn-Steffen Pischke vo svojej knihe o ekonometrii píšu, že ak je tvojim cieľom dokázať kauzálnosť (napríklad či má určitá intervencia vplyv na konkrétne správanie ľudí), urob experiment. Ak experiment urobiť nemôžeš, použi postupy, ktoré nájdeš v knihe. Experimenty sú pre určovanie kauzálnosti zlatým štandardom – najlepším možným spôsobom, ako prísť na to, či navrhovaná zmena bude fungovať tak, ako by sme chceli.

Uskutočniť dobrý experiment je náročné, pretože nadizajnovať prostredie ktoré dokáže skúmanú kauzalitu odhaliť, je niekedy hlavolamom. Zároveň je to však zábava. Preto sú experimenty metódou, ktorú využívam vo svojom ekonomicko-psychologickom výskume.

Potešilo ma, keď som si všimol, že sa experiment vo verejnom sektore podarilo uskutočniť aj na Slovensku: https://lepsiesluzby.digital/experiment-fs-sr. Už trochu horšie pocity som mal, keď som si o ňom prečítal. Kde je problém?

Štúdia konštatuje (nasledovné beriem ako fakt, údaje som si neoveroval), že Finančné riaditeľstvo SR dokáže vyzbierať v priemere ani nie 20 % z nedoplatkov na daniach, čím stráca niekoľko stoviek miliónov EUR ročne.

Inými slovami sa dá povedať (hoci ide o značne zjednodušenú interpretáciu, ktorá nepočíta s váhami, je však vhodná na ilustráciu), že zo 100 podnikateľských subjektov, ktoré sa vyhýbajú plateniu daní, sa nakoniec tie dane vyzbierať až od 80 z nich nepodarí. Štúdia predpokladá, že mnoho z týchto subjektov sa vyhýba plateniu daní „neúmyselne“, teda napríklad, že podnikatelia „prehliadnu termín na zaplatenie dane“, „nevšimnú si pripomienku v smartfóne“ alebo „prokrastinujú“.

Na základe tejto hypotézy potom štúdia navrhuje vytvoriť „zrozumiteľné informácie“ pre daňovníkov a intervenciu testuje zaslaním notifikácie polovici živnostníkov, ktorí si proaktívne predĺžili termín daňového priznania na koniec júna.

Autor/autori (mimochodom, bolo by asi fajn sa pod takúto tlačovú správu podpísať) konštatujú, že ich intervencia neviedla k zvýšeniu pravdepodobnosti na zaplatenie dane. Hneď však dodávajú, že ich projekt dopadol úspešne, keďže sa popri ňom niečo naučili. Nie je však jasné, čo presne.

Nechcem byť zbytočne kritický, ale ak sa konkrétne vo výsledku ich experimentu dá nájsť nejaké ponaučenie, je to predovšetkým to, že nedomyslená hypotéza vedie k intervencii, ktorá je úplne nanič.

Prečo? Je naivné predpokladať, že podnikatelia, ktorí si proaktívne podajú v marci odklad dane, na túto daň o tri mesiace neskôr zabudnú. Ak by ich bolo zopár, možno… ale ak ide o 80%, potom skôr treba hľadať problém v ekonomických stimuloch a nie „kognitívnych zlyhaniach“.

Inými slovami, v prvom rade treba vždy predpokladať, že ľudia vedia, čo robia a hľadať odpovede na otázku, či je možné, že sa im vyhýbanie daňovým povinnostiam skrátka oplatí. Napríklad, či pri súčasnom nastavení stimulov v podobe efektívnosti kontrolných a sankčných mechanizmov nie je pre podnikateľa v istých situáciách výhodnejšie si daňovú povinnosť neplniť. S psychologickými postrčeniami (anglicky nudge) sa môžeme hrať až vtedy, keď budú stimuly nastavené dobre.

Ak som sa totiž niečo v rámci svojho výskumu, vzdelávania a manažérskej praxe o podnikateľoch naučil, je to hlavne to, že nikdy nie je vhodné a priori predpokladať, že sú hlúpi, alebo že robia tak nezmyselné chyby ako zabudnutie na termín dane.

Práve naopak, čím nezmyselnejšie sa javí správanie podnikateľa navonok, tým je väčšia šanca, že presne vie, čo a prečo robí (alebo nerobí). Ak sa mi zdá jeho správanie nepochopiteľné, potom pravdepodobne iba nepoznám jeho stimuly, alebo im nerozumiem. Psychologické fenomény týmto rozhodne nepopieram, ale v biznise sú až na druhom mieste.

 Štát preto môže úspešne dolaďovať politiky psychológiou až po tom, čo vhodne nastaví práve ekonomické stimuly. Viac o tom píšem tu: https://lorko.sk/nudge-ako-netlacit-ludi-k-rozhodnutiam/ a tiež tu: https://kaviarenskedebaty.sk/moze-stat-manipulovat-obcanov-pre-ich-dobro/

Okrem nevhodnej hypotézy je nevhodný aj samotný experimentálny design. Ide o to, že intervencia sa zároveň snaží o „postrčenie ľudí ktorí neúmyselne zabúdajú platiť dane prostredníctvom notifikácie“ a tiež o „poskytnutie zrozumiteľných inštrukcií, ktoré človeku uľahčia zaplatiť daň“.

To sú však dve intervencie a nie o jedna. A dve intervencie sa nedajú otestovať jedným experimentom. Ak by sa ukázalo, že skupina s notifikáciou má štatisticky vyššiu pravdepodobnosť zaplatiť daň, potom by nebolo jasné, či sa to deje vďaka tým zrozumiteľným inštrukciám, alebo iba vďaka samotnej notifikácii.

Ak teda chce štúdia testovať obe intervencie, musí na to použiť dva experimenty. V prvom z nich otestuje vplyv notifikácie – skupina s notifikáciou a pôvodnými inštrukciami vs. kontrolná skupina bez notifikácie.

V druhom otestuje vplyv zrozumiteľných inštrukcií – skupina s notifikáciou a zrozumiteľnými inštrukciami vs. kontrolná skupina s notifikáciou a pôvodnými inštrukciami. Keďže štúdia nenašla žiaden efekt (kvôli nepodloženej a pomerne zvláštnej hypotéze), je nevhodný dizajn v tomto prípade irelevantný.

Do budúcna by ale bolo určite lepšie robiť experimenty, z ktorých výsledkov sa naozaj dá nejaká kauzalita určiť. Zvlášť keď ide vzorku o veľkosti takmer 41 tisíc ľudí, teda dosť veľkú na testovanie hoci aj desiatich hypotéz/intervencií.

Posledným veľkým mínusom je prezentácia výsledkov https://my.visme.co/projects/8r9pxdme-exp-s-fs-sr-2. Obrázky rakety a šachistov sú síce pekné, ale kvalitný report by naozaj nemal pozostávať z výsledku popísaného jednou vetou a „grafom“ s dvoma stĺpcami, bez označenia osi X a dokonca úplne bez osi Y.

Keď už nič viac, aspoň by sa patrilo uviesť štatistický test a p-hodnotu (keďže kľúčová premenná je binárna, malo by pravdepodobne ísť o Fischerov exaktný test). Tiež je základnou povinnosťou v grafe na osi X označiť, ktorá skupina je kontrolná a ktorá intervenčná a zároveň osou Y vyjadriť, akú premennú a s akými hodnotami tie dva stĺpce vlastne zobrazujú.

Štúdia ešte následne uvádza bočné pozorovania (mimochodom, prudko selektívne) bez uvedenia spôsobu, ako k nim autori prišli. Snáď tam použili aspoň jednoduchú regresiu a nie je to výsledok porovnania dvoch čísel v exceli.

V druhom „grafe“ sa dokonca miešajú dve rôzne demografické charakteristiky (pohlavie a vek) dohromady. To je v podstate analytický nezmysel, ak na takú analýzu nie je dostatočne dobrý dôvod.

Bola na to nejaká hypotéza, alebo sa iba porovnávalo v dátach všetko so všetkým, až kým sa na niečo neprišlo? A ako bola táto analýza spravená? Dve demografické charakteristiky dokopy totiž vyžadujú aspoň regresiu s intrerakciou dvoch nezávislých premenných.

Pri všetkej úcte, takúto úroveň sofistikovanosti by som, na základe predošlého, neočakával. Celkovo tak, bohužiaľ, vyzerá prezentácia výsledkov experimentu ako nepodarená seminárna práca študenta slabšej strednej školy, alebo lepšej základnej.

Suma sumárum, hoci mi je tento projekt sympatický, považujem ho za nevyužitú príležitosť, a to pravdepodobne hlavne kvôli nedostatku vedomostí a skúseností na strane realizačného tímu. Štúdia síce hovorí o Thalerovi, Smithovi a Kahnemanovi, ale načítať si populárno-náučnú literatúru (predpokladám že šlo o Nudge od Thalera a Thinking fast and slow od Kahnemana) skrátka nestačí.

Zvlášť keď Thaler ani Smith (aspoň pokiaľ viem) nikdy field experimenty nerobili a Kahneman robil iba jeden, a aj to o kolonoskopii (pre záujemcov: https://lorko.sk/prezivanie-vs-pamat-je-mozne-vylepsit-bolestivy-zazitok-pridanim-dalsej-bolesti/ ). Zároveň za zdá, že v projektovom tíme nie je ani jediný, človek, ktorý by v minulosti aspoň jednu experimentálnu štúdiu realizoval a akademicky publikoval.

Do budúcna by som odporúčal v prvom rade začať analýzou stimulov a prvú hypotézu stavať na predpoklade, že ľudia tieto stimuly racionálne nasledujú. Psychologické „zlyhania“ a iracionalitu je lepšie ťahať do hry až ak sa preukáže, že správanie nedokážeme vysvetliť ekonomickými stimulmi.

V záujme kvalitnejšieho designu experimentu odporúčam naštudovať vedeckú (nie populárnu!) literatúru o field experimentoch. Začal by som napríklad Johnom Listom, Stevenom Levittom a Davidom Reileym.

V neposlednom rade je podľa mňa škoda robiť takéto verejné projekty „na kolene“ a nevyužiť skúsenosti ľudí, ktorí behaviorálne a experimentálne štúdie realizujú v rámci akademického výskumu. Vo svete je nás takých (slovákov) dohromady približne 15. Mnohí z nich (vrátane mňa) by určite ponuku na zmysluplnú spoluprácu neodmietli.

Každopádne, držím experimentovaniu vo verejnom sektore na Slovensku do budúcnosti palce. Má to zmysel, len to treba robiť oveľa kvalitnejšie. Možno by na začiatok stačilo nechať si poradiť od skúsenejších.

Aj ja do dnešného dňa chodím (a ešte veľa rokov chodiť budem) s každým mojim návrhom na experiment za niekoľkými profesormi, aby som si vypočul ich kritiku ešte predtým, ako sa pustím do realizácie. Teda v čase, keď je ešte možnosť sa vyvarovať zbytočným chybám. Na jeden experiment je totiž väčšinou k dispozícii iba jedna šanca a je teda nutné urobiť všetko pre to, aby sa nepremrhala.

Matej Lorko

Macquarie Business School, Sydney & Národohospodárska fakulta, Ekonomická Univerzita

Moja FB stránka: https://www.facebook.com/clovekonomia/

Blog: http://www.lorko.sk


Teraz najčítanejšie

Matej Lorko

PhD. študent - Experimentálna a behaviorálna ekonómia (Macquarie University, Sydney). Môj psychologicko-ekonomický blog "Človekonómia" nájdete na: http://www.clovekonomia.sk/