EÚ schválila reguláciu umelej inteligencie. Odborník vysvetľuje, ako sa to dotkne deepfakov alebo četbotov

Minulý týždeň schválil Európsky parlament akt o umelej inteligencii (AI Act). Právny predpis – prvý svojho druhu na svete – určuje podmienky pre používanie systémov umelej inteligencie v EÚ.

O obsahu nariadenia sa Denník N rozprával s právnikom a výskumníkom Matúšom Mesarčíkom. „Ak by bol na námestí protest, nemal by sa tam nasadiť systém na rozpoznávanie tváre a nemalo by sa stať, že štát by na základe tohto systému začal identifikovať účastníkov a podľa toho ich kádroval,“ hovorí Mesarčík o jednej zo zakázaných praktík.

Zakazujú sa aj systémy, ktoré podprahovo ovplyvňujú ľudské vedomie alebo systém sociálneho skóringu, známy z Číny.

V rozhovore sa dočítate aj:

• ako akt upravuje veľké jazykové modely, četboty alebo „aplikácie na vyzliekanie“;
• ako zákonodarca reagoval na kritiku, že regulácia brzdí rozvoj a budeme zaostávať za svetovou konkurenciou;
• odkedy bude nariadenie účinné a aké kompetencie má novozriadený Európsky úrad pre umelú inteligenciu.

Prečo je vôbec potrebný akt o umelej inteligencii?

Pretože umelá inteligencia nie je technológia, ktorú možno použiť len pozitívnym spôsobom. Jednotlivcom aj ľudstvu prináša výhody, no nesie so sebou aj isté riziká – dlhodobé aj krátkodobé.

Aké sú dlhodobé a krátkodobé riziká?

Medzi dlhodobé patrí napríklad vplyv na trh práce alebo obava, že umelá inteligencia nás ovládne a niekedy v budúcnosti diametrálne zmení naše fungovanie. Ale akt o umelej inteligencii sa zameriava najmä na riešenie krátkodobých rizík, ktoré treba riešiť urgentne.

Týkajú sa potenciálnych skreslení umelej inteligencie, ľudského dohľadu, transparentnosti, prípadne obáv spojených s ochranou súkromia – systémy umelej inteligencie sa trénujú na obrovskom množstve dát, z nich niektoré sa môžu týkať našich osobných údajov alebo diel chránených autorským právom.

Reaguje nariadenie aj na možné zneužitie umelej inteligencie vo voľbách?

Čo sa týka volieb, stáva sa štandardom, že kolujú rôzne deepfake videá alebo dezinformácie. Veľké jazykové modely, na ktorých stojí ChatGPT alebo Gemini (model umelej inteligencie od Googlu – pozn. red.), vedia veľmi rýchlo generovať dezinformácie. Od subjektov, ktoré tieto modely nasadzujú, bude akt o umelej inteligencii požadovať, aby vzali do úvahy akékoľvek riziká, ktoré predstavujú pre demokraciu alebo právny štát. Keď akt o umelej inteligencii vojde do účinnosti, mali by fungovať takým spôsobom, aby sa nedali jednoducho zneužiť na tvorbu dezinformácií. Len čo firma takéto praktiky identifikuje, bude to musieť napraviť.

Akt o umelej inteligencii sa zameriava hlavne na oblasti umelej inteligencie s vysokým rizikom. Jednou z nich je oblasť demokracie, právneho štátu a súdnictva. Čiže systémy umelej inteligencie využívané vo voľbách budú spadať pod vysoké riziko s určitými výnimkami.

Vyžaduje akt o umelej inteligencii označovanie deepfakov?

Akt o umelej inteligencii predpisuje označovanie akéhokoľvek obsahu, ktorý bol vygenerovaný umelo a nevytvoril ho človek. Označovanie má fungovať takým spôsobom, aby človek pri pohľade na obsah vedel, že je umelo generovaný. Malo by to byť vpísané aj v jeho kóde, aby iný stroj vedel detegovať, že je to strojom vytvorená informácia.

Nemôžeme sa tváriť, že to budú rešpektovať všetci a za všetkých okolností, ale je to prvotný impulz, že ak to rešpektovať nebudú, budú môcť byť braní na zodpovednosť.

Ako dnes vyzerá technológia deepfake. Zdroj – Denník N/YouTube

Pred istým časom sme písali aj o „aplikáciách na vyzliekanie“, ktoré dokážu vytvoriť deepfake pornografickú fotografiu. Rieši akt o umelej inteligencii aj toto?

Určite áno. Predovšetkým cez požiadavky na transparentnosť deepfakov, ktoré bude treba označovať za umelo vytvorený obsah. Akt o umelej inteligencii hovorí, že jedna z hodnôt, ktorú sa Európska únia snaží chrániť, je zdravie. Nielen fyzické, ale aj to mentálne. A práve takýto materiál dokáže duševné zdravie veľmi poškodiť. Prevádzkovateľ takejto aplikácie by mal tieto riziká zohľadňovať.

Čo musí spĺňať umelá inteligencia zaradená pod vysoké riziko?

Akt o umelej inteligencii je budovaný na podobných princípoch ako akákoľvek iná produktová regulácia. To znamená, že keď chce niekto na európskom trhu predávať práčky alebo televízory, musí spĺňať bezpečnostné štandardy, aby sa nestalo, že keď spotrebič prvý raz zapnem, zhorí. To isté platí aj pre umelú inteligenciu, ktorá podľa aktu o umelej inteligencii musí spĺňať isté požiadavky – aby bola bezpečná, neohrozovala zdravie a rešpektovala základné ľudské práva a slobody.

Tieto požiadavky sú rozmenené v konkrétnych ustanoveniach. Prevádzkovateľ systému umelej inteligencie ho bude musieť dizajnovať tak, aby vždy umožňoval ľudský dohľad. To znamená, aby v ňom človek vedel upraviť parametre, prípadne vedel zvrátiť rozhodnutie, ktoré umelá inteligencia spraví. A zároveň aby človek disponoval rozlišovacími schopnosťami, kedy sa na rozhodnutie umelej inteligencie spoľahnúť môže a kedy nie.

Potom sú tam požiadavky na správu dát. To znamená, aby sa systém natrénoval na dostatočne reprezentatívnej vzorke údajov. Model umelej inteligencie poskytovaný v EÚ by nemal byť natrénovaný na údajoch z úplne odlišného geografického územia, lebo by to mohlo viesť ku skresleniam či diskriminačným výsledkom. Alebo sú tam požiadavky s ohľadom na kybernetickú bezpečnosť.

Nedávno sme písali o tom, ako umelá inteligencia eskaluje konflikty, nezriedka s využitím atómových zbraní. Zaoberá sa akt o umelej inteligencii aj využitím AI na vojenské účely?

Tomuto sa akt nevenuje, pretože kompetenciu regulovať vojenské záležitosti majú primárne jednotlivé členské štáty Európskej únie. Akt má preto explicitne zo svojej pôsobnosti vylúčené systémy, ktoré sa používajú na vojenské účely alebo na účely národnej bezpečnosti.

Rada Európy teraz pracuje na Dohovore o umelej inteligencii. Má ísť o prvú medzinárodnú zmluvu, ktorá bude koncipovaná so širšou pôsobnosťou ako akt o umelej inteligencii. Tento dohovor by mohol upravovať využitie umelej inteligencie na vojenské účely.

Zakazuje akt o umelej inteligencii sociálny kreditný skóring vykonávaný orgánmi verejnej moci, aký poznáme napríklad z Číny?

Áno. Okrem toho, že sa akt zameriava na systémy vysokého rizika, v jednom článku vypočítava, aké systémy v Európskej únii nemožno vôbec použiť. Ide aj o systémy sociálneho skóringu. V posledných fázach legislatívneho procesu boli rozšírené z orgánov verejnej moci – ako je to v Číne – aj na súkromné spoločnosti.

Medzi zakázanými praktikami sú aj systémy, ktoré podprahovo ovplyvňujú ľudské vedomie. Predstavte si vodiča kamiónu. Jeho zamestnávateľ má záujem, aby vodič vydržal za volantom čo najviac a prešiel veľa kilometrov. Tak by sa mohol vyvinúť systém, ktorý by monitoroval jeho životné funkcie. Ak by systém zistil, že vodič je unavený, pustil by mu sériu zvukov, videí alebo čohokoľvek, aby bol čo najviac bdelý. Ale to by malo negatívny vplyv na zdravie vodiča.

A čo obdobný systém, ktorý by vodiča kamiónu upozornil, že si má odpočinúť?

Taký systém je v poriadku. Akt o umelej inteligencii hovorí, že takéto systémy by sa nemali používať s cieľom človeka podprahovo ovplyvniť tak, aby to malo následok potenciálnej škody na zdraví. Ak systém vodičovi povie, že si má odpočinúť, negatívny vplyv na zdravie tam nie je. Je to skôr pozitívne.

Súčasťou nariadenia je aj zákaz identifikácie osôb podľa citlivých atribútov ako politické a náboženské presvedčenie či sexuálna orientácia. Čo si pod tým možno predstaviť?

Ide o zákaz spojený s biometrickými systémami. Povedzme, že ak by bol na námestí protest, nemal by sa tam nasadiť systém na rozpoznávanie tváre a nemalo by sa stať, že štát by na základe tohto systému začal identifikovať účastníkov a podľa toho ich kádroval a robil ďalšie opatrenia.

Za systémy umelej inteligencie s vysokým rizikom akt označuje napríklad uplatnenie umelej inteligencie v chirurgii s asistenciou robotov alebo softvér na triedenie životopisov vo výberovom konaní. V akom ohľade je použitie tejto technológie „vysokorizikové“?

Vysokorizikové je to v tom, že na konci dňa by to mal byť lekár alebo chirurg, ktorý povie, či daný zákrok vykonať alebo nie. Cieľom je, aby sa lekár slepo nespoliehal na rozhodnutia či analýzy stroja. Môže sa stať, že systém uvidí v tele pacienta niečo, čo lekár neuvidí. To je ten lepší prípad. Ale na druhej strane sa môže stať, že spraví systém zlé rozhodnutie s negatívnym vplyvom na pacienta. O oblasť vysokého rizika ide preto, lebo sa bavíme o ľudskom zdraví.

Do oblasti vysokého rizika patria systémy umelej inteligencie na triedenie životopisov preto, lebo môžu mať napríklad predsudky. Ak by sa systém umelej inteligencie trénoval na dátach, podľa ktorých by sa na určité pozície v určitom období vybrali iba muži, systém by takéto rozhodnutia prebral. Volá sa to „legacy bias“, čiže dedičný bias. Výsledkom by bolo, že by diskriminoval ženy. Keďže záujmom Európskej únie je, aby bol trh práce čo najrovnejší, ide o oblasť vysokého rizika.

Ale použiť ho ako pomôcku môžem?

Určite. Len je to oblasť vysokého rizika a taký systém musí podľa aktu o umelej inteligencii spĺňať isté požiadavky.

Zatiaľ sa mi zdá, že hlavnou myšlienkou aktu o umelej inteligencii je zachovanie ľudskej autonómie a ochrana pred umelou inteligenciou, aby nerozhodovala za nás. Je to tak?

Je to jedna z častí aktu o umelej inteligencii. Prvé ustanovenie hovorí, že umelá inteligencia musí byť orientovaná na človeka. To je o ľudskej autonómii. Ale nemožno to zužovať iba na to, lebo nariadenie sa zaoberá aj ochranou súkromia či základných ľudských práv a slobôd. V konečnom dôsledku je akt aj o právnom štáte, demokracii, dôveryhodnosti či udržateľnosti s ohľadom na životné prostredie.

Prvý raz sa o tomto akte začalo hovoriť v roku 2021, ale veľké jazykové modely a četboty sa objavili až potom. Ako zákonodarca zareagoval na ich dodatočný nástup?

Prvý návrh Európskej komisie takéto jazykové modely vôbec neriešil. Jemne sa nimi začali zaoberať až po roku a pol, keď svoju pozíciu predstavila Rada Európskej únie. Keď prišlo na trialógy a stretli sa zástupcovia Európskeho parlamentu, Rady Európskej únie a Európskej komisie, už existovali veľmi konkrétne návrhy, ako jazykové modely regulovať. V tom čase sme už videli, čo všetko ChatGPT dokáže. Išlo o jeden z najťažších kompromisov. Na jednej strane bol obrovský lobing výrobcov jazykových modelov, hlavne vo Francúzsku a v Nemecku, ktorí cez svojich zástupcov lobovali, aby sa požiadavky nechali na trh a tieto modely neboli vôbec regulované alebo len minimálne. Naopak, Európska únia trvala na pomerne striktných pravidlách. Kompromis je niekde v strede.

Veľké jazykové modely nie sú ani zakázané, ani vysokorizikové systémy a majú extra požiadavky. Akt hovorí o „modeloch AI na všeobecné účely“, ktoré delí do dvoch kategórií – modelov AI na všeobecné účely a modelov AI na všeobecné účely so systémovým rizikom. Na tie druhé sú kladené tvrdšie požiadavky. No hranica je postavená tak, že v tejto chvíli tam spadajú iba modely na báze GPT a možno Gemini. Čiže dva. Ostatné systémy budú regulované slabšie. Požiadavky, ktoré sú v akte, sa týkajú kontinuálneho hodnotenia rizík v čo najširšom meradle alebo plnenia požiadaviek s ohľadom na kybernetickú bezpečnosť. Vývojári si takisto majú dávať pozor, na čom sú tieto modely trénované, aby rešpektovali autorské práva a ochranu súkromia.

To sa doteraz nerešpektovalo?

Od roku 2019 platí v Európskej únii výnimka v autorskom práve, ktorá sa týka „data mining“, čo by sa dalo preložiť ako čerpanie dát. Podľa tej výnimky môžu modely umelej inteligencie do nejakej miery využívať texty alebo obrázky autora bez jeho súhlasu, dokým autor nekomunikuje výhradu. Napríklad v USA takúto explicitne uvedenú výnimku nemajú.

Akt o umelej inteligencii nejde v tejto oblasti príliš do hĺbky, ale v podstate hovorí, že si treba dávať pozor na autorské práva a systém umelej inteligencie treba natrénovať tak, aby túto politiku rešpektoval.

Aj sociálne siete využívajú nástroje umelej inteligencie. Ako sa nový akt vyrovná s nimi?

To bude ešte zaujímavé. Sociálne siete nespadajú do oblasti s vysokým rizikom, hoci pôvodne mali. Európsky parlament navrhoval, aby pod oblasťou demokracie, právneho štátu a súdnictva bol aj špecifický pododsek, ktorý by hovoril, že tam budú patriť všetky odporúčacie systémy (systémy, ktoré generujú odporúčania pre používateľov – pozn. red.) na veľmi veľkých online platformách (platformy s viac ako 45 miliónmi používateľov v EÚ – pozn. red.) podľa aktu o digitálnych službách.

Toto vypadlo s tým, že to už reguluje akt o digitálnych službách. Ale to nie je celkom pravda, lebo akt o digitálnych službách reguluje odporúčacie systémy iba v takej miere, že majú byť transparentné – aby užívateľ vedel, na základe čoho mu je na veľmi veľkých platformách zobrazovaný daný obsah, prípadne si vedel zmeniť nastavenia na zobrazovanie obsahu. Sú to dve čiastkové veci a napríklad téma ľudského dohľadu alebo ochrany súkromia sa v nich vôbec nerieši. Nepovažujem za dobré, že to z konečnej verzie aktu o umelej inteligencii vypadlo.

V USA dolná komora kongresu prijala návrh zákona na zákaz TikToku. Zaznievajú podobné hlasy aj v EÚ?

Také hlasy zaznievajú. Firmy, ktoré sociálne siete poskytujú, sa požiadavkám aktu o digitálnych službách budú musieť prispôsobiť. Ak to nebudú vedieť, buď z trhu odídu, alebo produkt budú poskytovať iným spôsobom. Európska komisia už podľa aktu o digitálnych službách začala vyšetrovať X (predtým Twitter – pozn. red.) a TikTok. Uvidíme, ako to dopadne. Budú to prvé lastovičky, kde Európska komisia bude môcť ukázať, že ak chcú prevádzkovatelia sociálnych sietí poskytovať svoje služby v EÚ, budú musieť dodržiavať naše pravidlá.

Ako sa nový akt dotýka autonómnych vozidiel?

Bude sa ich dotýkať presne tak ako zdravotníckych pomôcok, čiže budú vysokorizikové s odkazom na konkrétnu reguláciu, ktorá sa týka typového schvaľovania vozidiel, ktoré majú určitú mieru automatizácie alebo autonómie. Ale je tam výhrada – tým, že automobilový sektor je špecifický, niektoré veci si bude môcť upraviť špecifickejšie.

Ako zákonodarca reagoval na kritiku, že regulácia brzdí rozvoj a budeme zaostávať za svetovou konkurenciou?

Jeden jasný príklad, ako sa na to reagovalo, je, že akt o umelej inteligencii má špecifickú kapitolu, ktorá sa venuje opatreniam na podporu inovácií. Členským štátom sa prikazuje, aby vytvorili takzvané „regulované experimentálne prostredie“. Každý členský štát by mal vytvoriť minimálne jedno.

Čo je regulované experimentálne prostredie?

Je to priestor na testovanie systému umelej inteligencie. Experimentálne priestory – sandboxy – budú slúžiť na to, aby sa systémy umelej inteligencie správne nastavili. V tomto prostredí sa budú systémy testovať podľa predloženého plánu a bude sa posudzovať ich rizikovosť a validovať ich nastavenie.

Okrem toho sú súčasťou aktu o umelej inteligencii aj opatrenia na pomoc a uľahčenie pomoci súladu pre startupy, ktoré vyvíjajú systémy umelej inteligencie.

Argument, že regulácia brzdí inováciu, sa objavuje vždy a všade. Spomeniem dva príklady – keď prichádzalo nariadenie o ochrane osobných údajov, zaznievali veľmi podobné argumenty, ale až na výnimky sa mu firmy prispôsobili. Zo začiatku sme videli, že niektoré americké weby sa pre istotu vypli a neboli ponúkané v Európskej únii, ale postupne si ten súlad dali do poriadku. Druhým príkladom je akt o digitálnych službách – veľké americké platformy sa vyhrážali, že keď zákon prejde, v Európe sa vypnú. Ale nestalo sa. Pritom akt o digitálnych službách je v niektorých ohľadoch ešte tvrdší ako akt o umelej inteligencii. Námietky proti regulácii sú legitímne, ale dajú sa vyvážiť. Zároveň treba akceptovať, že umelá inteligencia so sebou nesie aj riziká. Myslím si, že nie je dobré nechať to len na trh. EÚ pristúpila k regulácii umelej inteligencie, lebo stojí na určitých hodnotách a princípoch, ako je rešpektovanie základných ľudských práv a slobôd, solidarita či dôvera.

Je Európska únia priekopníkom v tejto oblasti?

Áno. Európska regulácia má takzvaný bruselský efekt. Keďže býva najstriktnejšia vo svete, reguláciám sa prispôsobujú firmy v tretích krajinách, ktoré u nás budú ponúkať produkty. Je pre ne najjednoduchšie, ak sa prispôsobia tej najstriktnejšej regulácii a tento štandard potom aplikujú po celom svete. Zároveň Európska únia často inšpiruje iné legislatívy členských štátov, čo sa stalo aj s nariadením o ochrane osobných údajov. Predpokladá sa, že sa to stane aj s aktom o umelej inteligencii. Hoci Briti povedali, že oni to nechajú na trh. Vlastnou cestou idú aj USA. Čína už nejakú reguláciu prijala, ale je svojsky prispôsobená ich podmienkam.

Kedy bude nariadenie účinné?

Účinnosť bude postupná. Teraz sa text legislatívne čistí, aby bol presný a kompletný. Potom ho formálne prijmú zástupcovia členských štátov v Rade EÚ. Keď bude akt publikovaný v úradnom vestníku, účinnosť bude postupná. Zakázané praktiky začnú platiť pol roka od zverejnenia. Veľké jazykové modely, ktoré zatiaľ nie sú na trhu, budú musieť splniť požiadavky do 12 mesiacov od zverejnenia. Tie veľké jazykové modely, ktoré už na trhu sú, majú lehotu 24 mesiacov.

Akt ako taký má účinnosť vo všeobecnosti dva roky. Ale zároveň každý vysokorizikový model umelej inteligencie, ktorý po dvoch rokoch prejde zásadnou zmenou, bude musieť spĺňať tie požiadavky. Z vyjadrení európskych predstaviteľov vyznieva, že si myslia, že takmer každý vysokorizikový systém prejde nejakou zásadnou zmenou a v nejakom momente bude musieť byť v súlade s aktom o umelej inteligencii.

Čo bude mať na starosti novozriadený Európsky úrad pre umelú inteligenciu?

Má viaceré úlohy. Ide o jediný dozorný orgán pre veľké jazykové modely. To vnímam pozitívne, lebo tak nedochádza k fragmentácii dohľadu nad nimi. No úrad bude plniť aj ďalšie úlohy – ak na Slovensku budeme napríklad riešiť vysokorizikový systém, hoci na to nebudeme mať dostatočnú podporu, napríklad inžinierov, náš dozorný orgán sa bude môcť obrátiť na tento európsky úrad. V rozumnom čase by mu mal vedieť poradiť, pomôcť alebo ho usmerniť.

Aké sú tresty za porušenie aktu o umelej inteligencii?

Pokuty sú vyššie ako sankcie za porušenie GDPR. Pri porušení zakázaných praktík idú až do výšky 7 percent obratu spoločnosti alebo 35 miliónov eur. Dozorné orgány úradu budú mať širšie právomoci, ktoré sa nebudú obmedzovať len na sankcie a budú mať právomoc napríklad zakázať využívanie systému umelej inteligencie, ak by bol veľmi rizikový.

Vy osobne vítate, že sa prijal akt o umelej inteligencii?

Určite vítam, že sa takýto právny akt prijal. Riziká spojené s umelou inteligenciou treba – napriek jej výhodám – mierniť aj prostredníctvom regulácie. Zároveň si viem predstaviť, že v niektorých veciach mohol byť akt lepší. Tam radím to, ak by napríklad odporúčacie systémy zostali na veľmi veľkých online platformách zahrnuté v oblasti s vysokým rizikom. Alebo si viem predstaviť ešte väčší dôraz na dôveryhodnosť a etické princípy. V akte o umelej inteligencii sú tieto aspekty zastúpené, ale stále je čo vylepšovať. Dosiahol sa politický kompromis a treba ho rešpektovať.