Denník N

Je problém, ak nerozumieme, ako umelá inteligencia triedi životopisy či radí o prepustení väzňa, hovorí odborník

Juraj Podroužek. Foto - Martina Juríčková, zdroj - archív J. P. so súhlasom autorky
Juraj Podroužek. Foto – Martina Juríčková, zdroj – archív J. P. so súhlasom autorky

Odborník na etiku v technológiách Juraj Podroužek v rozhovore vysvetľuje, že umelá inteligencia svet tak skoro neovládne. Problémom sú skôr naše predsudky v dátach, ktorými ju kŕmime.

V rozhovore sa dočítate aj:

  • aký je rozdiel medzi Terminátorom a Netflixom;
  • kto je zodpovedný za to, ak umelá inteligencia spraví chybu;
  • prečo môžu byť rozhodnutia umelej inteligencie rasistické či dokonca sexistické;
  • prečo má IT nejasnejšie morálne hranice ako napríklad bioinžinierstvo;
  • či je umenie, ak umelá inteligencia dokončí Beethovenovu symfóniu.

Kde všade sa v bežnom živote stretávame s umelou inteligenciou?

Umelá inteligencia je trochu nešťastne vžitý termín, lebo často vyvoláva negatívne emócie. Ľudia si predstavia nejakého terminátora alebo všemocnú entitu zo sci-fi filmu, ktorá zničí ľudstvo.

A nezničí? Katastrofické predpovede zo sci-fi často hovoria, ako dosiahne samostatnosť a nebudeme sa jej páčiť.

Treba rozlišovať úzku umelú inteligenciu, ktorá je určená na nejakú špecifickú úlohu. Napríklad dostať vás z jedného miesta na druhé alebo triediť vám e-mail na spam a dôležité správy.

Už desiatky rokov sa však sníva aj o všeobecnej umelej inteligencii, ktorá bude schopná zastúpiť človeka v akejkoľvek intelektuálnej činnosti. Tá by sa mohla preklopiť do superinteligencie, ktorá schopnosťami človeka rádovo preskočí. V úzkej umelej inteligencii sa to už deje, máme systémy, ktoré dokážu hrať šach omnoho lepšie ako najlepší šachista na svete. Ale systém, ktorý hrá šach, nedokáže riadiť auto a podobne. Čiže zatiaľ je veľmi ťažké predpovedať, kam až sa AI (artificial intelligence, umelá inteligencia – pozn. red.) môže dostať. Niektorí vedci hovoria, že to môže byť náš posledný vynález.

Vráťme sa k úzkej umelej inteligencii. Kedy je technológia inteligentná?

Keď dokáže zareagovať na podnet zo svojho okolia a splniť určený cieľ bez toho, aby mala v každom kroku naprogramované, čo má urobiť. Takže je schopná určitej samostatnosti, vie sa prispôsobiť zmenám, učiť sa. Ale namiesto Terminátorov a Skynetov si predstavte skôr to, keď vám Netflix alebo Spotify odporúčajú na základe predchádzajúcich výberov film či pieseň. Alebo kameru, ktorá pri vchode do obchodu rozozná, či máte nasadené rúško.

Keď mi Netflix vyberie zlý film, je to menší problém, ako keď niekoho zrazí autonómne vozidlo. Nesie pri takýchto chybách zodpovednosť vývojár alebo používateľ technológie?

Je rozdiel, či sa bavíme o morálnej alebo právnej zodpovednosti. Jedno z tradičných vnímaní morálnej zodpovednosti hovorí, že ste zodpovedná, ak sa vaším pričinením a na základe vašej slobodnej voľby stane niečo zlé. Dôsledkov tohto rozhodnutia ste si pritom vedomá. Už pri takomto tradičnom chápaní zodpovednosti môžete mať v dnešnom IT svete problém. Na vývoji totiž pracuje takmer vždy tím ľudí, takže môže byť ťažké určiť vinníka.

Juraj Podroužek. Foto – Martina Juríčková, zdroj – archív J. P. so súhlasom autorky

Aktuálne sa z právneho a morálneho hľadiska presadzuje myšlienka, že za ujmu by nemal byť zodpovedný stroj, ale ten, kto je schopný kontrolovať riziko. Sú to najmä vývojárske tímy či prevádzkovatelia, ktorí ho nasadia do života, ale do istej miery aj samotní užívatelia. Do popredia sa postupne dostávajú aj proaktívne prístupy, keď si už dopredu vyhodnocujete možné následky a zodpovedáte za to, aby sa nič zlé nestalo.

Pred troma rokmi došlo k nehode, keď autonómne auto zrazilo chodkyňu. Celkovo to vyvolalo veľký odpor k tejto technológii napriek tomu, že podľa vyšetrovania niesol vinu človek, ktorý mal auto kontrolovať, a šoféri zabijú denne na cestách nepomerne viac chodcov. Vnímame to citlivo, lebo je to novinka, ktorej nedôverujeme?

Pravdepodobne. Do hry zrejme vstúpila aj prirodzená ľudská potreba hľadať vinníka, na ktorého sa dá ukázať prstom a odsúdiť jeho správanie. V tomto prípade vyhasol život cez prostredníka, autonómne auto. To potom mnohých ľudí zvádza k tomu, že chcú odsúdiť aj toho, kto nehodu priamo spôsobil, a strojom začnú prisudzovať ľudské črty.

Mňa pri takýchto situáciách skôr zaujíma morálna dilema a spôsoby, ako ju vieme riešiť. Teda, ako sa vyrovnať so situáciami, keď máte povinnosť nejako sa rozhodnúť, ale súčasne ste si vedomá, že každé vaše rozhodnutie povedie k negatívnemu dôsledku. Napríklad ako v známej dileme dreziny, pri ktorej sa máte rozhodnúť, či dovolíte, aby prešla päť ľudí na koľajnici, alebo zaradíte výhybku na druhú koľaj, kde leží jeden človek.

Kde sú takéto „dreziny“ umelej inteligencie?

Nasadíte napríklad sledovaciu aplikáciu počas pandémie, čím môžete zachrániť množstvo životov. Ale zároveň môžete výrazne vstúpiť aj do základných ľudských práv. Ste teda v situácii, keď máte morálny záväzok urobiť oboje, ale nedokážete to urobiť naraz. Jednou z úloh etiky umelej inteligencie je pomáhať inžinierom rozoznať podobné morálne dilemy, keď technologické riešenia ešte len vyvíjajú, a navrhovať riešenia na ich prekonávanie. Lebo na rozdiel od myšlienkového experimentu s drezinou je reálny svet dynamický. Svojimi činmi teda viete zmeniť podmienky, v ktorých sa budete rozhodovať nabudúce. Pokojne aj vo svoj prospech.

Umelá inteligencia prichádza k rozhodnutiam a odporúčaniam často na základe starších dát, z ktorých sa učí. Môže sa na základe nich rozhodovať rasisticky alebo sexisticky?

Poznáme neslávne známe príklady, ako četbot Tay musel byť do 24 hodín stiahnutý z Twitteru, lebo začal prejavovať xenofóbne postoje. Alebo systém COMPAS, ktorý nasadili v USA ako pomôcku pre sudcov, ktorí mali rozhodnúť o prepustení na podmienku. Ukázalo sa, že tento systém pripisoval výrazne vyššie rizikové skóre Afroameričanom. Takto klesala pravdepodobnosť, že pôjdu na slobodu aj v situácii, v ktorej by softvér bielemu odsúdencovi podmienku odporučil. Takéto predsudky a skreslenia sú jedným z najväčších problémov v etike umelej inteligencie.

Ako sa tam tie predsudky dostanú?

Ak máte zlý alebo obmedzený výber dát, tak si do nich môžete zaniesť nejaké historické skreslenia. Ale môžete to spraviť aj naschvál tak, že softvéru ukážete morálne nesprávne situáciu a budete mu hovoriť, že sú normálne. To sa stalo v prípade spomenutého četbota, ktorého používatelia Twitteru vlastne morálne hekli. Aj tvorca softvéru môže preniesť svoje ľudské predsudky priamo do algoritmu a jeho kódu.

Do algoritmu a jeho kódu môže zaniesť predsudky aj jeho tvorca. Ilustračný obrázok. Zdroj – Unsplash/Markus Spiske

Môžeme teda nechať algoritmus robiť rozhodnutia, ktoré takto vážne ovplyvňujú ľudský život bez kontroly?

Otázka neznie, či to dokážeme. Už sa to deje. Napríklad pri vyhodnocovaní zaslaných životopisov, pri tom, čo vám príde ako výsledok internetového vyhľadávania alebo čo si prečítate na Facebooku. Otázka je, či je to správne. Hlavne pri algoritmoch umelej inteligencie, ktoré využívajú už spomínané hlboké učenie. To sú postupy, pri ktorých sa každý prípad vyhodnocuje cez tisícky až milióny skrytých výpočtových vrstiev. My pritom ani nerozumieme, čo sa vo vnútri takejto rozhodovacej čiernej skrinky deje.

Na pôde EÚ sa preto momentálne dosť hovorí o tom, že na rozhodnutia, ktoré majú vplyv na život a základné práva človeka, by mali byť nasadzované iba systémy, ktorých rozhodnutiam budeme rozumieť. Lebo ak sa napríklad chcete odvolávať voči rozhodnutiu na súde, ktorému nerozumie ani sám sudca, tak máme problém.

Čo znamená, že do tej čiernej skrinky nevidíme?

Vložíme nejaké dáta a na výstupe dostaneme nejaký výsledok. Čo sa odohrá vnútri a na základe ktorých vlastností dospeje tá čierna skrinka k rozhodnutiu, nemusí byť jasné. Ak je pre nás veľmi komplexná a prepočítava to na státisícoch parametrov, tak síce dostaneme výsledok, ktorý môže dávať zmysel. Môže byť do veľkej miery aj presný, ale nevieme sa dopátrať, akou úvahou sa k nemu systém prepočítal.

Povedzme, že by som si žiadala o hypotéku, ktorú bude posudzovať algoritmus hlbokého učenia. Bankovému úradníkovi by sa zdalo, že spĺňam všetky podmienky na udelenie, ale keby moje údaje prehnal systémom, vyšlo by mu, že som riziková klientka, pričom on by nevedel prečo?

Presne. Práve preto je jednou z veľkých snáh súčasnosti nájsť nástroje, ktoré nám pomôžu tú čiernu skrinku interpretovať. Napríklad zamestnancovi banky by mohlo stačiť, ak by vedel, že programu napríklad chýbalo 200 eur vo vašom príjme a podobne. Nemusí rozumieť celému reťazcu rozhodovania.

Predpokladám, že napríklad diagnózu bude vždy overovať aj človek lekár, ale v akých prípadoch nechávame rozhodnutie iba na stroje?

Napríklad triedenie spamu vo vašej mailovej schránke. Do veľkej miery sa automaticky rozhoduje aj navigácia. Môžeme niektoré parametre upraviť a rozhodnutie zmeniť, no väčšinou sa spoliehame na rozhodnutie stroja. Momentálne posudzujeme dosť intuitívne, čo musí schváliť človek a čo môže celé robiť stroj. Povedať si jasné pravidlá, kedy je nutný ľudský dohľad, je tiež jeden z veľkých problémov AI.

Asi najznámejšou morálne spornou technológiou umelej inteligencie je rozpoznávanie tváre. V Číne sa polícii vďaka nemu podarilo nájsť v 60-tisícovom dave hľadaného zločinca. To je fajn, no technológia dokáže rovnako rýchlo vystopovať aj človeka, ktorý uteká pred perzekúciami nedemokratického režimu. Dá sa takáto technológia nejako ochrániť pred zneužitím?

Zneužiť sa dá čokoľvek, no je pravda, že niektoré nástroje a technologické postupy sú na to náchylnejšie. Vedci a vývojári by preto mali riešiť nielen to, či sa dá niečo technicky vytvoriť, ale aj to, ako minimalizovať možný negatívny vplyv. Aj užívatelia si musia uvedomovať, ako tieto nástroje ovplyvňujú ich životy, aby si dokázali vyberať, ktoré chcú používať a či chcú do daného rizika vedome ísť. Inak aj Čína má svoje oficiálne etické usmernenia pre umelú inteligenciu. Ale na rozdiel od EÚ to zatiaľ vyzerá, že jej úprimný záujem uplatniť ich v realite je veľmi diskutabilný.

Kamerový systém v Číne. Ilustračné foto N – Robert Barca

V čom sa môžeme poučiť zo zneužitia vedeckých objavov na vojenské účely v minulosti, aby sme tieto chyby nezopakovali pri umelej inteligencii?

Nemali by sme čakať na hraničný moment, v ktorom si povieme: Nebláznime už, odteraz si vo vývoji musíme dávať väčší pozor. Napríklad používanie jadrovej energie má po Hirošime či haváriách v Černobyle a Fukušime svoje jasné pravidlá a dohody. Výskum a vývoj na poli klonovania ľudí či ich genetických modifikácií má taktiež svoje červené čiary, čo sme videli napríklad v prípade čínskeho vedca, ktorý modifikoval DNA dvoch ľudských embryí.

Toto v IT a špecificky v AI ešte nie je dostatočne zaužívané. Nie preto, že by sa tam nič nebezpečné nedialo. Je to skôr tým, že čo nie je fyzicky prítomné, bežní ľudia často nevnímajú ako zásadný problém. Hlavne keď tomu nerozumejú.

Čo podobné spomínanej atómovej bombe sa stalo v poslednom období na poli umelej inteligencie?

Napríklad kauza Cambridge Analytica, v ktorej sa dáta užívateľov sociálnych sietí zneužili na ich následnú manipuláciu počas politických volieb. To je iba vrcholom ľadovca. Podobné praktiky sa dejú neustále a sú súčasťou biznis modelu veľkých online platforiem, keďže ich cieľom je udržať pozornosť užívateľov a usmerňovať ich správanie. Na rozdiel od inžinierov napríklad v biotechnológiách je pripravenosť IT inžinierov čeliť podobným výzvam zatiaľ o niečo nižšia.

Ako sa to dá riešiť?

Časť môžete riešiť reguláciou. Nakreslíte červené čiary a poviete napríklad, že autonómne zbrane by mali byť zakázané, čiže o živote iného človeka nemôže rozhodnúť stroj. Ale veľká časť sa bude aj tak odohrávať v šedých zónach. Tam sa hodia práve odborníci na etiku, ktorí pomôžu pri hľadaní riešení. Tie nemusia za každú cenu výskum zastavovať, ale pomôžu ho správne nasmerovať a minimalizovať negatívne dosahy.

Vy máte hranicu, za ktorú by ste vo vývoji nešli?

Nechcel by som sa podieľať na technológiách, ktoré priamo ubližujú ľuďom, teda napríklad na vývoji autonómnych zbraní. Filozofickým jazykom povedané, sám by som sa nechcel podieľať na technológiách, ktoré vnímajú ľudí len ako prostriedok na dosiahnutie svojich cieľov, a nie ako cieľ samotný.

Učia sa budúci inžinieri o etike v umelej inteligencii bežne?

Pred rokom sme spustili na FIIT STU predmet Etika informačných technológií. Bolo fascinujúce vidieť, ako ítečkári čítajú a komentujú Kanta či J. S. Milla. V druhej časti kurzu sme potom rozoberali podobné témy ako v tomto rozhovore. S ohľadom na nešťastný vývoj udalostí na FIIT sme sa s kolegom rozhodli v kurze ďalej nepokračovať.

Juraj Podroužek (v strede) na konferencii. Zdroj – archív J. P.

Špecializované kurzy etiky v IT sú podľa mňa výborný nápad a na Slovensku už nejaké existujú. Popri tom však potrebujeme vložiť etické uvažovanie aj do bežných prednášok na technických univerzitách. Aby študenti popri nasávaní technických poznatkov získali širší obraz o ich spoločenských dôsledkoch. Nemala by to pre nich byť žiadna exotika, ale súčasť úplne bežného premýšľania počas toho, ako niečo vyvíjajú.

Momentálne otvárate na Kempelenovom inštitúte inteligentných technológií doktorandské štúdium. Akých študentov hľadáte a bude sa tam vyučovať aj takáto etika?

Aktuálne doktorandský program pre etiku umelej inteligencie neplánujeme, ale na leto pripravujeme v rámci nášho „etického tímu“ stážové programy pre študentov vysokých škôl. Na doktorandské štúdium hľadáme v KInITe (Kempelenov inštitút inteligentných technológií – pozn. red.) šikovných ľudí s vášňou a ochotou učiť sa v rôznych segmentoch. Od energetiky cez bezpečnosť až po správanie ľudí v online priestore. Sme akurát v polčase toho výberového konania, takže záujemci majú čas prihlásiť sa do dvadsiateho apríla.

Dlho sa hovorilo, že miesto, kde sa umelá inteligencia nepresadí, bude umenie, lebo kreativita sa naprogramovať nedá. Umelá inteligencia však medzičasom zvládla spraviť dokonalú kópiu Rembrandtovho obrazu či „dokončiť“ Beethovenovu symfóniu. Je to umenie?

Aj mimo AI máme umelecké diela, ktoré vznikajú pomocou náhody. Autor nastaví iba základné parametre a nechá napríklad prírodu, aby dielo dotvorila. Takže si myslím, že nastaviť správne softvér s umelou inteligenciou je tiež umenie.

Ilustračná fotografia. Zdroj – Unsplash/Possessed Photography

Kto je v takomto prípade autorom diela?

Ak by sme sa držali toho, že algoritmy umelej inteligencie sú v prvom rade ľudským nástrojom, tak na konci by mal byť vždy nejaký človek, ktorému dielo patrí.

Ako vidíte budúcnosť umelej inteligencie? Dosiahne nakoniec samostatnosť a kedy?

Už desiatky rokov hovoríme o tom, že sa to stane v horizonte 30 až 50 rokov. Ja som zatiaľ skeptický, myslím, že ešte prejde veľa času, kým sa tam prepracujeme. Neviem, či potom superinteligencia ľudstvo zničí alebo ho dostane na úroveň blahobytu, ktorý je pre nás dnes nepredstaviteľný.

Viem však, že nad tým, akou morálkou by sa mala riadiť a či je vôbec možné vložiť ľudskú morálku do systému, ktorý nebudeme chápať, by sme sa mali zamýšľať už teraz. Bez ohľadu na to, či sa to stane. Ľuďom, ktorí sa o túto tému zaujímajú, určite odporúčam knihu Superinteligencia od Nicka Bostroma, ktorá sa venuje práve tejto téme.

Juraj Podroužek 

Je filozof a IT manažér. Venuje sa etike IT, predovšetkým etike umelej inteligencie a hodnotovo orientovanému dizajnu. Zaujíma sa o zapojenie etických hodnôt a princípov do procesu vývoja a nasadzovania IT. Spoluzakladateľ spolku E-tika a člen stálej komisie pre etiku a reguláciu AI. Vedie tím Etika a ľudské hodnoty v technológiách v Kempelenovom inštitúte inteligentných technológií a čiastočne pôsobí aj na Ministerstve investícií, regionálneho rozvoja a informatizácie Slovenskej republiky. Je spolutvorcom podcastu E-tika o digitálnych technológiách a ich spoločenskom a etickom rozmere a príležitostne prispieva aj do Denníka N.

[Objednajte si bestseller z knižnej edície Denníka N Ľudskosť. Optimistická história človeka, ktorá ponúka nový pohľad na uplynulých 200 000 rokov ľudských dejín.]

ESET Science Award

Morálka

Podcast Denníka N

Rozhovory

Technológie

Veda

Teraz najčítanejšie