Denník N

Odporúčanie pre vládu: 2x testuj a raz schvaľuj

Každý deň urobíme veľa rozhodnutí. Časť z nich sú vedomé rozhodnutia, ktoré si vyžadujú našu pozornosť a energiu a časť z nich sú, dá sa povedať nevedomé, automatické rozhodnutia – napríklad keď vidíme na prechode zelenú, nepremýšľame nad tým, či môžeme prejsť cez cestu. Proste vieme, že by to malo byť bezpečné a mozog nás posiela naproti zelenému panáčikovi.
Ako to, ale funguje pri tých vedomých rozhodnutiach? To si bližšie povieme v tomto texte

Pri riešení úlohy – problému – rozhodnutia potrebujeme mať väčšinou vstupné údaje na to, aby sme dobre zvážili rôzne možnosti a premenné, mnoho scenárov  “ak toto, tak tamto” a nakoniec dospejeme (v tom lepšom prípade) k uspokojivému výsledku. Čo by sa však stalo, ak by sme použili iný postup, iný scenár? Bol by náš výsledok “lepší”, uspokojivejší, efektívnejší?

Práve testovaním rôznych nastavení môžeme prísť na to, čo má vplyv na lepší, uspokojivejší a možno dokonca aj efektívnejší výsledok. Isto existujú skratky alebo všeobecné odporúčania, ktoré nás navedú na riešenie, no niektoré problémy môžu byť priveľmi komplexné a je lepšie otestovať, čo bude pre rozhodnutie to ideálne.

Nemohli by sme testovanie rôznych scenárov uplatniť napríklad aj pri tvorbe verejných politík? Mohli, dokonca by sme mali. Dáva úplný zmysel najprv otestovať viacero riešení a až potom vybrať to “lepšie”.

Testovanie ako zlaté pravidlo zavádzania politík – hudba blízkej budúcnosti?

Každý jeden úradník a všetci zodpovední za tvorbu a zavádzanie politík by si mali vziať k srdcu princíp testovania navrhovaných opatrení. Testovanie by mohlo ušetriť nemalé finančné prostriedky. A občania, ktorí sú vlastne akcionármi štátu, chcú dostať to čo funguje a nie to, čo nefunguje či potrebuje dopracovať.

Ako testovať rôzne návrhy verejných politík?

Jednou z metód ako vyhodnotiť, ktoré navrhované riešenie naozaj funguje  sú randomizované kontrolované experimenty (RCT – randomized control trials). RCT sú v súčasnosti široko využívaná forma testovania napríklad v medicíne alebo pri testovaní nových produktov na identifikovanie, ktorá verzia produktu  je najefektívnejšia. Prečo to teda neaplikovať aj na verejné politiky?

RCT sú odlišné od iných metód tým, že na úvod experimentu sa stanoví kontrolná vzorka (napríklad zavedená politika), ktorá  umožní porovnať účinnosti navrhovaných opatrení oproti tomu, čo by sa stalo keby sa nič nezmenilo. Zavedením kontrolnej vzorky sa odstránia iné vplyvy, ktoré by inak znemožnili presne identifikovať faktory spôsobujúce zmenu.

Obrázok 1 RCT experiment – náhodné rozdelenie do testovacích skupín

Jednoduchšou formou RCT testovania je A/B testovanie. V podstate sa jedná o totožný test iba s tým, že sa bude testovať nový  spôsob oproti tomu starému alebo dva návrhy navzájom. Táto metóda má rovnakú váhu ako RCT, ale je oklieštená o variabilitu skúmaných možností. Majte však na pamäti, že vždy je lepšie testovať dve možnosti ako netestovať vôbec.

Na Slovensku sa RCT experimenty pri tvorbe verejných politík zatiaľ veľmi nevyužívajú. To môže byť z časti spôsobené nedostatkom povedomia o RCT, ale môžu to byť aj mylné domnienky, napríklad to, že RCT sú komplikované, drahé a neetické. Osobne sme sa stretli s tým, že RCT sa používajú v rámci testovania projektov hodnoty za peniaze.

Mylné dôvody prečo sa nevyužíva testovanie

  • My predsa vieme „čo funguje“

Tvorcovia politík majú často pocit, že vedia čo pravdepodobne funguje zo svojich skúseností a využívajú toto presvedčenie pri tvorbe politík. Aj keď existujú dobré dôvody veriť, že daná politika bude účinná, bez overenia experimentov to bude vždy iba názor – hypotéza – pocit.

Odhady expertov na danú politiku bývajú často nesprávne. RCT by preukázali, že intervencie, ktoré boli vytvorené ako potenciálne efektívne, nie sú naozaj efektívne a naopak, že intervencie, ktoré boli vnímané skepticky môžu naozaj fungovať. Existuje veľa príkladov RCT, ktoré vyvrátili pôvodné predpoklady o tom čo funguje a ukázali nám intervencie, o ktorých sme si mysleli, že sú účinné sú v skutočnosti škodlivé.

Testovanie je najlepším spôsobom, ako sa vyhnúť týmto chybám pri celoplošnom zavádzaní politík do praxe. Poskytnú tvorcom politík a odborníkom silný dôkaz o účinnosti intervencie – zmeny.

  • Na testovanie nemáme rozpočet

Náklady na experiment závisia od toho, ako je experiment navrhnutý a pokiaľ sú k dispozícii vhodné dáta je vykonanie experimentu finančne nenáročné.

V dnešnej dobe aj služby verejnej správy prechádzajú z papierovej formy do elektronickej, čo môže značne uľahčiť spustenie RCT, pretože potrebné údaje sa už teraz zbierajú (v ideálnom prípade).

Pri analýze nákladov na RTC treba pamätať na to, že je to najlepší spôsob ako stanoviť, či dané opatrenie ponúka dobrú hodnotu za peniaze – inými slovami aj keď sa RCT vyžadujú určité náklady v konečnom dôsledku môžu ušetriť oveľa viac prostriedkov ako spustenie politiky bez testovania. Ukázaním o koľko viac alebo menej bola intervencia účinná oproti statusu quo môžu tvorcovia politík určiť, či náklady na intervenciu sú odôvodnené vzhľadom na prínos.

  • Je neetické zdržovať prospešné opatrenia

Ďalšou námietkou proti RCT vo verejnej politike je, že je neetické pozdržať novú politiku, z ktorej by mohli ľudia okamžite profitovať.

Diskusia v rámci zavádzania verejných politík  je rovnaká ako pri liekoch alebo potravinách, ktoré majú veľký vplyv na naše zdravie. Na jednej strane existuje tlak na rýchle zavedenie lieku, ktorý by okamžite mohol zachraňovať životy, na druhej strane je možné nájsť mnoho príkladov liekov, ktoré bez dostatočného testovanie skôr škodili. Pri liekoch a potravinách existuje veľký spoločenský dopyt na bezpečnosť vzhľadom na to, že si každý dokáže dobre predstaviť negatívne dôsledky škodlivého lieku na svoje zdravie. Pri verejných politikách môžu byť tieto dôsledky bežným ľuďom menej zrozumiteľné, napriek tomu nastavenie a fungovanie právneho, inštitucionálneho a sociálneho systému definuje motivácie občanov a firiem a tým ich správanie.

Pokiaľ napríklad budeme mať systém, ktorý nadaných žiakov nemotivuje študovať na Slovensku a nedokáže priťahovať talenty zo zahraničia, zostaneme navždy iba “montážnou dielňou s nízkymi platmi”.

Prijímané politiky či nastavenie procesov vo verejnej správe teda zásadne ovplyvňuje našu budúcnosť a mali by sme vyžadovať podobnú mieru dôkladnosti a testovania ako pri liekoch.

  • Je to komplikované, nevieme ako to urobiť

Všetko nové sa zo začiatku javí ako komplikované a každú novú vec je potrebné sa naučiť. Našťastie existujú ľudia a tímy, ktorí Vám pomôžu RCT testovanie rozbehnúť. Na Úrade podpredsedu vlády SR pre investície a informatizáciu (ÚPVII) vznikol tím pre behaviorálne inovácie (BRISK), ktorý Vám pomôže experimenty navrhnúť a zrealizovať. Akademici Vám tiež často radi pomôžu pri zrealizovaní experimentu, pretože výsledky im poskytnú nové údaje oblasti ich výskumu alebo pri písaní odborného článku. Neváhajte osloviť napríklad  Ústav verejnej politiky na Univerzite Komenského.

9 krokov potrebných k správnemu nastaveniu RCT

  1. Identifikujte 2 a viac intervencií pre porovnanie – napr. stará a nová politika, odlišné varianty politiky.
  2. Určite prínos (výsledok), ktorý má intervencia dosiahnuť a ako sa bude tento prínos merať.
  3. Rozhodnite mieru randomizácie (náhodného rozdelenia): či bude kontrolná  skupina a intervenovaná skupina rozdelená na úrovni jednotlivcov alebo organizácií (školy, okresné úrady…), alebo podľa miestneho členenia (okresov, obcí) atď.
  4. Určite koľko jednotiek (osôb, subjektov, organizácií alebo okresov) je potrebných pre robustné výsledky.
  5. Priraďte každej jednotke jednu z testovaných intervencií metódou robustnej randomizácie.
  6. Zaveďte intervencie pre vybrané skupiny.
  7. Merajte výsledky a určite vplyv intervencie.
  8. Prispôsobte politiku tak, aby odzrkadľovala vaše zistenia.
  9. Vráťte sa na krok 1 pre kontinuálne zlepšovanie Vášho porozumenia čo funguje.

Nechceme vôbec povedať, že je ľahké a jednoduché otestovať návrh politiky pred jej zavedením do praxe. Vyžaduje si to dobrý ľudský kapitál, odhodlanie, energiu robiť veci inak, inovatívne a v neposlednom rade podporu od vedenia jednotlivých inštitúcií, ale aj politickú podporu. Zmena myslenia býva vždy pomalá a bolestivá, aj keď je to zmena k lepšiemu. Veríme však, že tam, kde je vôľa, bude aj cesta. Veď ktorý úspech začínal tým, že to bolo jednoduché?

Pekné hranie s dátami prajeme

Viac podobných článkov je dostupných na www.klebedata.sk.

Referencie:  https://www.bi.team/publications/test-learn-adapt-developing-public-policy-with-randomised-controlled-trials/

 

Teraz najčítanejšie

Klebedata

Autori blogu Pavol Škápik, Viktor Robert Bederka, Tibor Jedinák a Lukáš Jurena sú dátoví klebetníci, ktorí radi analyzujú dáta, hľadajú medzi nimi súvislosti, kombinujú, spracovávajú, skúmajú a následne ich aj publikujú. V rámci svojej profesie, no aj mimo nej pracujú s rôznymi druhmi dát a teraz sa rozhodli vás kreatívne do tejto ich hry s dátami zapojiť.