Ešte predtým, ako sa dostaneme k tej viac nemilej časti tohto blogu, chceme poďakovať každému, kto sa nás zastal a pomáhal našu prácu obhajovať či už na facebooku, alebo na blogoch, ako napríklad tu Vladimír Boža,, ktorý je Slovenskou špičkou v oblasti data science.

No poďme k tým výhradám. Sme radi za akýkoľvek feedback, berieme aj kritiku od verejnosti. Koniec koncov sme platení z daní, tak nás kontrolujte, je to správne. Mrzí nás však, keď niektorá kritika ide mimo rámca slušnosti, mrzí nás, keď niekto tvrdí, že nekomunikujeme, po tom, ako sme si vymenili niekoľko mailov a strávili hodiny na telefóne. A práve preto vydávame tento blog, kde si rozoberieme dve veľké kritiky na náš model.

Kritika od DSL.sk

Uznávame, že prvá verzia IZP modelu šírenia koronavírusu obsahovala viaceré odhadované premenné a volila parametre, ktoré boli skôr stres testom systému. Tieto sme v druhej verzii boli schopní zadefinovať omnoho presnejšie a prepracovať aj vďaka zverejneniu zdrojového kódu a pripomienkam odbornej verejnosti.

V rovnakom čase, pred mesiacom, neboli prístupné dáta o rýchlosti šírenia vírusu ako sú dnes, chýbalo množstvo publikovaných štúdií, a preto sme pracovali s konzervatívnymi parametrami na základe vtedy dostupných informácií. Model v danej dobe nebol použitý na tvorbu politík, jeho cieľom bolo začať verejnú debatu o potrebe modelovania možných scenárov nákazy.

V druhej verzii modelu sme tiež optimalizovali jeho mechanizmus, upravili hlavný parameter šírenia (R0) podľa najnovších dát a zohľadnili sme aj socioekonomické faktory. Tento model pripomienkovali a overovali aj odborníci z UK, EUBA, STU a ďalších inštitúcií a všetky zjednodušenia, ktoré sú v článku, mimochodom veľmi nekorektne popisované, boli upravené. Model je zverejnený so všetkými vzorcami, prešli ho desiatky ľudí vrátane odborníkov a vychádza z najlepších poznatkov o modeloch, aké sú k dispozícií. Autor článku si nenechal vysvetliť, napriek našej niekoľkohodinovej snahe, že pôvodný starý model nebol použitý pre tvorbu politík a bol hneď po publikácií ďalej zlepšovaný po pripomienkach odbornej verejnosti. Autor článku má k dispozícií nový model a nemá k nemu pripomienky. Vyzývali sme autora, že ak bude verejne komunikovať takmer mesiac starý model, bude šíriť mylné informácie a hoaxy. Nereagoval.

Dovoľujeme si podotknúť, že v tretej verzii modelu, ktorú pripravujeme, budú využité dáta od mobilných operátorov a  ponúknuté modelované scenáre napríklad o izolácii konkrétnych vekových skupín, prípadne o konkrétnych iných rizikových skupinách.

Kritika od mocnedata.sk

Asi najviac obsiahla kritika. Nakoľko sa chceme vyhnúť obvineniam, že strkáme hlavú do piesku, ideme bod po bode, ku každej jednej výhrade ktorá tu bola.

Vykresľujete to horšie ako v zahraničí! Šírite paniku

Vysoký podiel nakazených na úrovní 10% sme očakávali v dobe, keď v Nemecku očakávali 70% a v Spojenom Kráľovstve či USA až 81%. Momentálne náš najviac pesimistický scenár hovorí o 3,1% populácie SR. Najoptimistickejší scenár je modelovaný v našej štúdii v grafe 4, kde dosahuje vrchol len približne 0,7% populácie. Autor poukazuje na náš najpesimistickejší scenár. Ešte raz zdôrazňujeme, že sa jedná o všetkých infikovaných, vrátane tých, ktorí sa nepodrobili testovaniu a vírus u nich nebol a vo väčšine prípadov ani nebude oficiálne potvrdený.

V najoptimistickejšom scenári máte viac nakazených ako je reálne potvrdených, máte to celé zle!

Model hovorí o počte ľudí, ktorí budú vírusom Covid-19 infikovaní, nie o tých, ktorí budú mať potvrdený pozitívny test na tento vírus – medzi týmito údajmi je priepastný rozdiel. Väčšina ľudí nebude mať žiadne príznaky, prípadne bude mať mierne alebo stredne vážne príznaky, ktoré nebude možné rozlíšiť od bežnej chrípky alebo prechladnutia, teda nebude vedieť, že má ochorenie Covid-19. Vedecké odhady hovoria, že len v približne 5 zo 100 prípadov je nutná hospitalizácia pacienta (iba v 4 prípadoch zo 100 v populácii pod 60 rokov).

Keďže počet identifikovaných prípadov pravdepodobne výrazne podhodnocuje reálny počet prípadov nakazených osôb, iniciačný počet vyplýva z identifikovaných prípadov vynásobených odhadovaným nárastom počtu týchto prípadov počas inkubačnej doby, ktorá bola odhadnutá na úrovni 6 dní (pri 95 % intervale spoľahlivosti – 4,5 až 5,8 dní podľa ). Ako možno vidieť na grafe nižšie,  na základe aktuálnych údajov je tento koeficient na úrovni 6. Samozrejme, pri zvýšení testovania a väčšom počte dát tento koeficient upravíme.

Príliš vysoký R0 faktor

V našej analýze sme pôvodne použili konzervatívny odhad a R0=4, nakoľko model nepredpokladal heterogénnosť populácie a nemali sme prakticky žiadne otestované údaje, len príklady z iných krajín. Takisto sme ho pôvodne zvolili preto, lebo považujeme za istejšie nákazlivosť preceniť ako podceniť. Aktuálny model (v2) zohľadňuje socio-ekonomické parametre v rámci indexu rizika ktorý je vytvorený pre každú obec a je váženým priemerom premenných zohľadňujúcich počet obyvateľov v dome/ubytovacej jednotke, prístup k pitnej vode a prístup k verejnej kanalizácii – výsledný index v modeli upravuje výšku R0. Najnovší model IZP pracuje s priemernou hodnotou R0 na úrovni 1,65 pri odhadovanom reálnom scenári, berúc do úvahy opatrenia ohlásené 27.3.2020. Takisto máme namodelované aj variácie pre hodnoty R0 2,0, 1,4 a 1,2.

V Českej republike mali podľa ich prepočtov v ten istý deň, ako sme publikovali štúdiu, rovnakú hodnotu R0, ako sme použili my. (Vysvetlenie: Ústav zdravotnických informací a statistiky ČR zverejnil  dátami čiastočne podložený odhad, že ich hodnota R0 bola od 12.3. na hodnote 1,84 a odhad hodnoty R0 na úrovni 1,2 od 16.3, ktorí ale nemohli podložiť dátami. Nakoľko ide len o subjektívny odhad, porovnanie sme pre účel blogu zvolili s pesimistickejším odhadom nižšie).  Náš model je statický, čiže jeho úloha je robiť scenáre – statické, čiže ak sa nič nezmení, ako by vyzerala situácia. Vedeniu MZ a štábu poskytujeme pravidelné, takmer denné aktualizácie zachytávajúce dynamiku vývoja, no zverejňujú sa len prierezové dáta. Prečo? Jedná sa o nový vírus, nemáme dosť otestovaných, nemáme spracované marginalizované komunity. Nevieme a nemôžeme preto rátať s tým, že sa to bude „samo“ časom znižovať. Predpokladáme, že to tak bude, ale kým nemáme tieto vstupy, tak to nemôžeme zapracovať.

Prevzaté z https://www.seznamzpravy.cz/sekce/koronavirus-stopcovid

Validácia R0 koeficientu. 

R0 koeficient aktualizujeme každý deň na základe akademických štúdii, dát z okolitých krajín a našich dát s použitím modelu vedcov z FMFI UK. V čase publikácie modelu bol stredný (a stále konzervatívny) odhad pre R0 1,65 – predpokladáme, že R0 v súčasnosti môže byť aj na nižšej úrovni, každý deň hodnotu prepočítavame, validujeme a aktualizujeme model, aby mala vláda a štáb vždy najaktuálnejšie predpoklady.

Nulová responzívnosť na závažnosť situácie

Nie je pravda, že by náš druhý model nereagoval na závažnosť situácie. Model analyzuje 4 vybrané scenáre a to šírenie nákazy pri 100 % mobilite populácie, pri 70 % mobilite populácie, pri 30 % mobilite populácie, čiže stav po zavedení opatrení ohlásených 16.3.2020 (tento model berie tiež do úvahy nižšiu mieru prenosu infekcie formou zníženia parametra R0 na výšku 2,0) a pri 35 % mobilite populácie a R0, čiže stav po zavedení opatrení ohlásených 27.3.2020 (model berie do úvahy zvýšenú mobilitu vplyvom otvorenia nových prevádzok ale nižšiu mieru prenosu infekcie formou zníženia parametra R0 na výšku 1,65).

Nasledujúca verzia modelu (v3) už bude vychádzať z reálnych dát od mobilných operátorov, ktoré sme dostali len začiatkom apríla.

Efekt rúška model nepredpokladá, len odvodzuje z výsledkov. 

Do modelu je možné pridávať množstvo parametrov a ich vplyvy na R0 – efekt rúšok, umývania rúk, práce z domu, minimalizácie kontaktov, vyššie využitie telemedicíny a ďalšie. Pridanie ďalších parametrov do modelu nezaručuje jeho vyššiu presnosť a spoľahlivosť – v súčasnosti neexistujú relevantné štúdie, ktoré ukazujú ako priamo nosenie rúšok ovplyvňuje R0, takže by sme museli „variť z vody“. Aj v prípade, že by sme tento priamy efekt poznali (napr. o 1 percento vyššia penetrácia rúšok v populácii ukazuje zníženie R0 o 0,03), museli by sme v reálnom čase merať, koľko ľudí u nás nosí rúška na reprezentatívnej vzorke obyvateľov, na čo momentálne nie sú k dispozícii voľné kapacity. Z týchto dôvodov radšej volíme jednoduchší model, kde vieme, v ktorom parametri sa skrýva najväčšia neistota a ktorým smerom pravdepodobne ovplyvňuje výsledky modelu.

Postoj k modelovaniu úmrtí

Ako ste spomenuli aj vo svojom článku, je nutné v tejto situácii nešíriť paniku. Využitie modelov je najužitočnejšie pre prípravu na pesimistické scenáre z dôvodu materiálno-technického a personálneho zabezpečenia nemocníc. Samotné modelovanie úmrtí je extrémne závislá na tom, aký vysoký bude vrchol infekcie, ako budú pripravené nemocnice, ako dobre bude vybavený zdravotnícky personál, a na množstve ďalších faktoroch.

Protirečenie ohľadne teoretických infikovaných a odhalených prípadoch. 

Nikde si neprotirečíme, počet identifikovaných prípadov pravdepodobne výrazne podhodnocuje reálny počet prípadov nakazených osôb. Iniciačný počet vyplýva z identifikovaných prípadov vynásobených odhadovaným nárastom počtu týchto prípadov počas inkubačnej doby, ktorá bola odhadnutá na úrovni 6 dní (pri 95 % intervale spoľahlivosti – 4,5 až 5,8 dní podľa ). Ako možno vidieť na grafe nižšie,  na základe aktuálnych údajov je tento koeficient na úrovni 6. Samozrejme, pri zvýšení testovania a väčšom počte dát tento koeficient upravíme.

Nepracovanie s faktorom individuálnej izolácie. 

Model už dnes (v2) čiastočne zohľadňuje rozdelenie populácie na izolovanú a neizolovanú pri výbere parametra beta, tak ako to odporúčate vo vašej rade. Toto rozdelenie priamo ovplyvňuje parameter R0. Pomer izolovanej populácie je v súčasnosti 70% a distribúcia R0 má pre nich nižší priemer ako pre izolovanú populáciu. Tento faktor sme zapracovali po pripomienkach akademických kolegov z FMFI UK.

Nízka relevancia inhibitívnych faktorov v modeli. 

Kľúčovými parametrami modelu sú hlavne parameter R0 a jeho distribúcia, mobilita alpha a migračná matica. Vďaka dátam od telekomunikačných operátorov si ďalšia verzia modelu (v3) nebude vyžadovať odhad pre parameter alpha, ale využijeme reálne dáta o mobilite od operátorov. Na margo odporúčania o využití pomeru rodinných domov alebo katastrálnej plochy na obec: túto zmenu je možné urobiť, ale pridanie ďalších parametrov nezaručuje spresnenie modelu – je potrebná ich kvalitná kalibrácia a čerpanie z akademickej literatúry, ktoré hovorí napríklad o tom, aké je prepojenie medzi pomerom rodinných domov v obci a veľkosťou R0 – v súčasnosti takouto štúdiou nedisponujeme.

Iné postavenie nemocničných miest. 

Je možné pridať do modelu ďalší vektor parametrov a zohľadniť, že mesto s nemocnicou môže mať zvýšené riziko pre nové infekcie – znovu je tu riziko vnesenia arbitrárneho parametra do modelu ak nebude poriadne kalibrovaný. Bolo by potrebné zodpovedať otázky ako a či zohľadňujeme každú nemocnicu rovnako alebo sa sústredíme len na tie, ktoré ošetrujú pacientov s podozrením na ochorenie Covid-19, o koľko viac riziková je každá kategória nemocníc (nateraz nevieme o štúdii, ktorá by toto číslo vyjadrovala a momentálne nemáme k dispozícii ani lokálne dáta, ktoré by nám pri kategorizácii pomohla) a či je tento parameter dostatočne dôležitý na to, aby bol zaradený. Budeme nad touto možnosťou uvažovať a ďalej mapovať akademické štúdie.

Absencia skutočného scenáru v simulácií. 

Tu je nám vyčítané, že naše scenáre sú oproti realite „Armagedon“. Najnovší model IZP (v2) pracuje s priemernou hodnotou R0 na 1,65 pri odhadovanom reálnom scenári berúc do úvahy opatrenia ohlásené 27.3.2020. Takisto máme namodelované aj variácie pre hodnoty R0 2,0, 1,4 a 1,2. Príde nám rozumné rátať aj so scenármi, ktoré sú pesimistické. Radšej sa pripravme aj na horšiu situáciu a nachystajme kapacity, ako by sme mali zostať nepripravení. To je totiž cieľ modelu. Hodnota 1,65 bola dopočítaná, podobne, ako to robia v ČR, či iných krajinách. Reálna hodnota sa pri súčasnom víruse nedá za „pochodu“ presnejšie stanoviť. Ak máte lepší prístup, radi ho použijeme.

Kvalitatívna stránka mobility.

Kľúčovou ideou modelu pri odhade šírenia nákazy kvôli cestovaniu nie je samotná cesta, ale pobyt osoby v inej obci, kde sa osoba môže nakaziť alebo kde môže nakaziť ostatných – rátame tu pobyty, ktoré trvali aspoň 2 hodiny z dôvodu, aby sme nezapočítali napríklad priamu cestu Bratislava-Košice ako návštevu niekoľko desiatok obcí, čo by nafukovalo počet interakcií na vyššiu mieru, ako je realita.

Modelovanie vyliečenia pomocou gamma faktoru. 

Pre parameter gamma používame najnovšie odhady z literatúry a radíme sa s epidemiológmi z Univerzity Komenského. Tieto parametre sú modelované z dát zo zahraničia, kde je vyšší počet nakazených aj vyliečených. Najužitočnejším príkladom je stále Čína, kde máme najviac dát, na Slovensku by toto cvičenie bolo veľmi nepresné. Podobne ako pri ostatných parametroch, aj gamma je veličinou, o ktorej sa dozvedáme postupne viac a aktualizujeme naše odhady. V prípade, že máte konkrétny model pre odhad gamma v našej populácii, tak nám ho prosím pošlite a radi si ho pozrieme.

Absencia úmrtí ako brzdiaceho faktoru šírenia sa. 

Ako odznelo v predošlej odpovedi, rozhodli sme sa nemodelovať priamo počet úmrtí, keďže ten závisí od množstva faktorov, vrátane pripravenosti zdravotníckeho systému, kde sa situácia každým dňom zlepšuje, genotypového vybavenia nášho obyvateľstva, výšky vrcholu infekcie, dostupných liekov a ďalších. Dynamika modelu nie je výrazne zmenená, keďže prechod do kategórie „Recovered“ aj úmrtie ekvivalentne neumožňuje ďalšiu nákazu tohto pacienta.

Uniformnosť TAU parametru naprieč populáciou.

Podobne ako pridaním ďalšieho parametra pre nosenie rúšok táto možnosť existuje, ale nezaručuje vyššiu presnosť modelu, zvyšuje však počet parametrov v modeli a potrebu ich neustálej kalibrácie. Vaše odporúčanie v súčasnosti nie je možné zrealizovať, keďže od telekomunikačných operátorov disponujeme len agregovanými dátami, ktoré nám umožňujú spočítať reálne presuny medzi obcami, ale z dôvodu ochrany osobných údajov nevieme viac o dĺžke pobytu jednotlivých osôb doma alebo v práci.

Nikdy sa nezavdačíš všetkým

Sme radi, ak ste tento článok prečítali až do konca, obzvlášť, ak s nami nesúhlasíte (alebo ste prvotne nesúhlasili). O tom, či je náš model kvalitný už necháme rozhodnúť každého zvlášť, no na záver by sme chceli zdôrazniť hlavné princípy, na ktorých stoji naša práca.

Autor kritiky na mocnedata.sk ju pomenoval, že nám dáva zrkadlo. My na IZP si zrkadlo dávame každý deň, obzvlášť to platí pri tomto modeli. Prvé zrkadlo nám nastavil Róbert Mistrík, keď povedal, že štát nič nerobí a prečo vôbec nemáme scenáre. Ďalšie zrkadlo nám nastavil každý jeden odborník a každý jeden konštruktívny e-mail, ktorý nám prišiel. Dôležité je však aj vedieť, do ktorého zrkadla sa máme pozerať pre naozaj kvalitnú spätnú väzbu.

Ďalej, na modeli neustále pracujeme, zapracovávame nové dáta, stretávame sa s odborníkmi, ktorých zoznam si môžete pozrieť v modeli alebo na izp.sk/covid-19 . Všetci v tíme si uvedomujeme potrebu spätnej väzby a je pre nás kľúčová.

Náš model treba vnímať ako ilustráciu scenárov, ak by boli určité parametre zachované v čase,  čo nám umožňuje ľahko zobrazovať dopady nových či starých opatrení. Cieľom je spraviť kapacitný test a dopady opatrení na kapacity, aby sme sa nikdy (aj keď by sa všetko „pokazilo“) nevybrali Talianskou cestou.  Inak povedané, ďalším  princípom, ktorého sme sa držali, je, že radšej riziká preceňujeme, ako podceňujeme.

Nie je teraz dôležité sa naťahovať, koho model je presnejší, ale poskytnúť podklady na to, aby sa mohli prijať nutné opatrenia a pripraviť krajinu najlepšie, ako to je možné.

Ďakujeme všetkým za Váš záujem.

Tím IZP

Náš model môžete nájst na www.izp.sk/covid-19