Kamerový experiment Šutaja Eštoka na deťoch: Skúsenosti z viacerých krajín ukazujú, prečo to môže byť zlý nápad

Minister vnútra Matúš Šutaj Eštok (Hlas) chce minúť 63 miliónov eur na kamerový systém na školách. Jeho nápad kritizujú viacerí bezpečnostní analytici, opozícia a v stredu ho kriticky komentoval aj predseda koaličnej SNS Andrej Danko, ktorý povedal, že deti majú právo na súkromie.

Bežné kamerové systémy, ktoré už dnes používajú niektoré školy či obchody, nie sú také problematické. Projekt ministerstva vnútra je iný v tom, že chce snímať tvárovú biometriu ľudí a dáta vyhodnocovať pomocou umelej inteligencie.

Podobné bezpečnostné systémy vyskúšali aj v zahraničí a nie raz ich museli zastaviť alebo prepracovať. Tvárová biometria je zložitá a invazívna technológia, ktorú sprevádza niekoľko úskalí. Na Slovensku s ňou nemáme dostatočné skúsenosti, a tak sa oplatí pozrieť do sveta, aby sme zbytočne neopakovali chyby iných.

A tiež preto, aby rodičia vedeli jasnejšie argumentovať, aké pokusy minister vnútra nemá robiť na ich deťoch.

New York: Riziká môžu prevážiť nad výhodami

Používanie technológie rozpoznávania tvárí na školách zakázal vlani americký štát New York. K takémuto rozhodnutiu úradníci dospeli po dlhých diskusiách a podrobnej analýze možných dôsledkov.

Tieto technológie totiž majú problémy s presnosťou pri identifikácii rôznych skupín ľudí, najmä žien, detí, nebelochov, nebinárnych a transrodových ľudí. Negatívny vplyv kamier sa môže prejaviť aj na celkovej nálade v škole a nezanedbateľný problém je ochrana súkromia a osobných údajov.

V New Yorku sa touto citlivou témou začali zaoberať po tom, čo školský obvod v meste Lockport v roku 2018 oznámil, že tam v ôsmich školách nainštalujú kamery. Cieľom bolo podrobnejšie monitorovať, kto sa pohybuje v školách a ich bezprostrednom okolí – účel bol teda iný ako na Slovensku, kde tento zámer minister vnútra oznámil v reakcii na masovo zasielané e-maily na základné a stredné školy, ktoré hrozili, že tam umiestnili výbušniny.

Na bezpečnostný systém Aegis plánovali v New Yorku minúť 1,4 milióna dolárov, informoval New York Times. Systém fungoval tak, že stovky kamier snímali tváre všetkých ľudí a analyzovali, či medzi nimi nie je niekto zo zoznamu problematických osôb, napríklad sexuálni delikventi, ľudia, ktorí majú zákaz stretávať sa so študentmi, či bývalí zamestnanci, ktorí majú zakázané vstúpiť do škôl.

Ak kamery niekoho takého zachytili, poslali varovanie bezpečnostným pracovníkom, aby posúdili, či ide o problematickú osobu.

Novinári v roku 2020 upozornili, že kanadská spoločnosť SN Technologies, ktorá bezpečnostný systém inštalovala, zavádzala úradníkov a školy o presnosti svojich algoritmov a zľahčovala, ako často kamery nesprávne rozpoznali černošské tváre.

Stovky strán e-mailov medzi mestom a firmou zachytávajú množstvo technických problémov vrátane nesprávneho identifikovania predmetov. Napríklad násady na metly systém vyhodnocoval ako zbrane. Nastavenia systému tak museli byť niekoľkokrát upravované.

Newyorský úrad pre informačné technológie zverejnil vlani podrobnú štúdiu, ktorá upozornila, že použitie tvárovej biometrie na školách môže mať viac rizík ako výhod.

Spojené štáty majú dlhodobý problém s masovými streľbami na školách, no ani tieto pokročilé kamerové systémy tomu nedokážu zabrániť. Štúdia pripomína, že až v 70 percentách strelieb na školách zbrane použili súčasní študenti. A kamery študenta ako riziko nevyhodnocujú.

Aj táto štúdia prispela k tomu, že spomenutá technika bola na školách v štáte New York zakázaná.

Detroit: Muž skončil za mrežami, pretože ho systém označil za možného kriminálnika. Vysúdil odškodné

V roku 2020 si Robert Williams odsedel 30 hodín vo väzbe, pretože technika rozpoznávania tvárí ho nesprávne označila za možného podozrivého v prípade krádeže v obchode. Bol prvou osobou v meste Detroit, ktorému sa niečo také stalo, no nie poslednou, napísal o tom New York Times.

Porcha Woodruff zažila niečo podobné. V ôsmom mesiaci tehotenstva ju mylne obvinili z vykrádania áut.

Robert Williams sa rozhodol Detroit zažalovať. Chcel, aby bolo ľahkovážne využívanie tejto techniky zakázané a nik už nemusel zažiť to čo on.

So žalobou uspel, mesto mu zaplatilo odškodné 300-tisíc dolárov a zaviazalo sa, že zmení spôsob, ako polícia s týmto systémom pracuje. Jednou z najdôležitejších zmien bolo, že snímky ľudí identifikovaných pomocou tejto techniky už nemožno ukázať svedkom na identifikáciu páchateľa, pokiaľ polícia nemá iné dôkazy, ktoré by dotyčnú osobu spájali so zločinom.

Šéf detroitskej polície James White povedal, že neoprávnené zadržanie Williamsa bolo spôsobené ľudskou chybou, pretože policajti sa až príliš spoliehali na závery bezpečnostného systému.

Výskumníčka Molly Kleinman z neďalekej University of Michigan upozornila, že v Detroite sú kamery skoro všade. „Ak by všetky tieto sledovacie technické zariadenia robili to, čo sa o nich hovorí, Detroit by bol jedným z najbezpečnejších miest v krajine,“ skonštatovala Kleinman.

Francúzsko: Rozpoznávanie tvárí na školách nie je potrebné a primerané

Systém rozpoznávania tváre pri vstupe do škôl chceli testovať aj vo Francúzsku. Narazili na zákonné obmedzenia.

Techniku skúšali na dvoch školách v Nice a Marseille. Úrady na juhu Francúzska si systém objednali od americkej firmy Cisco v roku 2018, no projekt ešte čakal na schválenie od regulačného orgánu – Národnej komisie pre informačné technológie a slobody (CNIL) – a ten rozhodol, že zavedenie biometrických brán pri vstupe do škôl je nezákonný, porušuje zákony na ochranu súkromia.

Študenti totiž nemohli poskytnúť slobodný súhlas, pretože školská administratíva bola nadriadeným orgánom. Školy varovanie ignorovali a systém aj tak experimentálne spustili. Nakoniec zasiahol francúzsky správny súd a školy museli monitoring kamerami zastaviť.

Rozhodnutie zdôraznilo, že aj na experiment sa vzťahujú princípy ochrany osobných údajov a školy rodičom a študentom neposkytli dostatočné záruky na získanie súhlasu so spracovaním ich dát. Súd tiež upozornil, že sledovanie študentov nebolo potrebné ani primerané. Kontrola vstupu do škôl sa totiž dala dosiahnuť aj menej invazívnymi prostriedkami. Projekt teda nespĺňal požiadavky nevyhnutnosti a primeranosti.

Švédsko: Pokuta pre školu, ktorá porušila zákon

Pokus švédskej školy monitorovať dochádzku študentov využitím kamier s biometriou sa skončil podobne.

V roku 2019 takýto systém skúšala stredná škola v meste Skellefteå, trvalo to len tri týždne. Švédsky úrad na ochranu osobných údajov udelil zriaďovateľovi pokutu 20 000 eur pre porušenie zákona.

Hoci škola tvrdila, že získala súhlas študentov, úrad rozhodol, že takýto súhlas nebol platný, pretože študenti boli so školou v nerovnovážnom vzťahu. Úrad tiež zdôraznil, že každodenné kamerové sledovanie študentov bolo neprimeraným zásahom do ich súkromia, keďže dochádzku možno kontrolovať aj menej invazívnymi spôsobmi.

Wales: Polícia mala príliš široké právomoci

V južnom Walese zasa porušila právo na súkromie a antidiskriminačné zákony polícia. Policajti mali príliš široko stanovené právomoci pri používaní techniky na rozpoznávanie tvárí. Rozhodol o tom v roku 2020 odvolací súd, ktorý snímanie tisícov tvárí označil za neprimerané.

Na problém upozornil aktivista Ed Bridges z Cardiffu, ktorý sa obrátil na súd po tom, čo ho systém zosnímal na pokojnom proteste proti zbrojeniu. Polícia na tomto mieste zaparkovala dodávku so systémom na rozpoznávanie tvárí.

Bridges to vnímal tak, že polícia sa snažila demonštrantov zastrašiť. „Cítili sme, že to urobili preto, aby nás odradili od využívania našich práv na pokojný protest,“ povedal Bridges pre BBC.

Súd uznal, že polícia mala príliš veľkú voľnosť pri používaní týchto systémov a dôsledne nevyšetrila, či algoritmy neboli zaujaté z hľadiska rasy alebo pohlavia. Polícia musela svoje postupy prepracovať a presnejšie určiť, kedy môže takéto kamery použiť a aké kategórie osôb môže týmto spôsobom hľadať.

Atlanta: Použitie kamier sa môže bez varovania zmeniť

Prípad z americkej Atlanty zasa ukázal, že spôsob, ako sú kamery s umelou inteligenciou využívané, sa môže zmeniť – a študenti na to vôbec nemusia byť upozornení.

Školy v okrese Fulton nakúpili v roku 2020 bezpečnostné kamery, aby predišli streľbe na školách. Kamery od firmy Avigilon, ktorú vlastní Motorola, sú vybavené tvárovou biometriou a snažia sa odhaliť aj zbrane.

Keď vypukla pandémia covidu-19, začali školy využívať kamery aj na identifikáciu študentov, ktorí nemali na ústach rúško alebo respirátor.

Ako upozornil denník Guardian, študentov na to neupozornili. Nové využitie technických zariadení teda nebolo transparentné.

Ďalšie prípady a nová európska regulácia

Ako používať kamery s tvárovou biometriou tvárí riešili aj v ďalších mestách:

• Belgická polícia môže túto technológiu používať len pri jasne vymedzených súdnych vyšetrovaniach. Nemôže plošne snímať ľudí na verejných miestach. Rozhodol o tom výbor, ktorý dozerá na činnosť polície.
• Mesto San Francisco ešte v roku 2019 zakázalo používať techniku rozpoznávania tvárí. Riziko ohrozenia občianskych práv a slobôd podľa vedenia mesta prevažuje nad údajnými výhodami. „Táto technológia prehĺbi rasovú nespravodlivosť a ohrozí našu schopnosť žiť bez neustáleho vládneho monitorovania,“ písalo sa vo vyhláške.
• Americký štát Maine prijal v roku 2021 prísnu reguláciu, orgány činné v trestnom konaní tak môžu použiť techniku rozpoznávania tvárí, len ak neznáma osoba spáchala závažný zločin alebo pri identifikácii zosnulej či nezvestnej osoby. Zákon tiež dal občanom možnosť žalovať štát, ak boli nezákonne terčom tejto techniky.
• Nemecký úrad na ochranu osobných údajov varoval pred používaním systémov automatického rozpoznávania tvárí bezpečnostnými orgánmi. Použitie tejto techniky, ak je vôbec prípustné, musí byť absolútne nevyhnutné na ochranu najvyšších právnych záujmov a musí obsahovať dostatočné ochranné mechanizmy.

Na druhej strane je Čína známa masívnym sledovaním svojich občanov. Tam niektoré školy používajú rozpoznávanie tvárí aj na monitorovanie toho, či sa študenti v triedach sústredia na vyučovanie.

Občania Európskej únie sa môžu oprieť o vyššiu ochranu súkromia (GDPR) a od 1. februára 2025 začne platiť aj nariadenie o umelej inteligencii (AI Act), ktoré kladie na systémy s rozpoznávaním tvárí viaceré požiadavky.

Nasadenie takýchto systémov musí byť nevyhnutné a proporcionálne. Je otázne, či riešenie, ktoré presadzuje minister Šutaj Eštok, tieto kritériá spĺňa.

Prečo je tvárová biometria problematická

Systémy rozpoznávania tvárí fungujú tak, že analyzujú tváre ľudí a extrahujú z nich charakteristické črty, ktoré sa následne porovnávajú s tvárami uloženými v databáze. Systém sa trénuje na obrovskom množstve dát, aby bola schopná rozlišovať medzi jednotlivými tvárami alebo aby dokázala na záberoch z kamier odhaliť nebezpečné predmety, napríklad zbrane či drogy.

Táto technika môže byť užitočná v oblasti bezpečnosti, no môže viesť aj k chybám a diskriminácii. Problémy má napríklad pri rozpoznávaní ľudí s tmavšou pokožkou.

Známy príklad chybovosti takéhoto systému pochádza ešte z roku 2015, keď sa Google musel ospravedlniť za svoj systém rozpoznávania obrázkov, ktorý označil Afroameričanov ako gorily.

V roku 2018 organizácia Americká únia občianskych slobôd (ACLU) otestovala techniku rozpoznávania tvárí od spoločnosti Amazon. Výsledkom bolo, že systém identifikoval 28 černošských členov amerického kongresu ako zločincov.

Výskumníci z MIT tiež potvrdili, že rozpoznávanie tvárí takmer nerobí chyby pri bielych mužoch, no v 19 percentách prípadov si mýlil ženy s mužmi a v 31 percentách prípadov si mýlil ženy tmavej pleti s mužmi.

K podobným znepokojivým výsledkom dospel aj americký Národný inštitút pre štandardy a technológie, ktorý otestoval 189 algoritmov od 99 vývojárov.

Správa University of Michigan varuje pred použitím systémov na rozpoznávanie tvárí v školách. Hrozí totiž prehlbovanie rasizmu, normalizácia dohľadu či narúšanie súkromia. Problémom tiež je, že automatizované systémy by mohli tieto negatívne efekty rozšíriť na viac študentov, než by mohol akýkoľvek manuálny systém.

Výskumníci tiež varujú, že systémy ako inteligentné kamery či detektory kovov, aj keď majú za cieľ zvyšovať bezpečnosť, môžu tiež spôsobovať, že ľudia sa cítia menej bezpečne. Zavedenie prísnych opatrení tak môže mať opačný účinok, než sa pôvodne zamýšľalo. U študentov môžu zvyšovať pocity úzkosti, nebezpečia a nedôvery, dokonca sa študenti môžu cítiť kriminalizovaní.

„Na základe tejto analýzy dôrazne odporúčame, aby sa používanie rozpoznávania tvárí v školách zakázalo,“ napísali autori správy.

K podobným záverom došla aj vlaňajšia štúdia Americkej únie občianskych slobôd (ACLU). Tá upozornila, že sledovacie systémy môžu spôsobiť, že vedenia škôl budú mať pocit väčšieho bezpečia, no v skutočnosti nezvýšia bezpečnosť študentov.

„Sledovanie študentov je v skutočnosti nielen neúčinné ako bezpečnostné opatrenie, ale často aj poškodzuje študentov a bráni školám zaviesť osvedčené opatrenia,“ tvrdí ACLU.

Firmy, ktoré kamery s tvárovou biometriou ponúkajú, môžu sľubovať bombastické výsledky, no ich vyjadrenie treba brať s rezervou a dôsledne ich preskúmať. A pozorne tiež treba skúmať možné negatíva, ktoré táto technika so sebou prináša.