Denník N

Vedec, ktorý učí umelú inteligenciu po slovensky: S citlivými otázkami by som sa na ňu zatiaľ neobracal

Odborník na spracovanie prirodzeného jazyka a umelé neurónové siete Marián Šimko. Foto N - Tomáš Hrivňák
Odborník na spracovanie prirodzeného jazyka a umelé neurónové siete Marián Šimko. Foto N – Tomáš Hrivňák

➡️ Počúvanie podcastov Denníka N je najpohodlnejšie v aplikácii Denníka N. Zvuk Vám nepreruší, ani keď zmeníte stránku, a počúvať môžete aj bez pripojenia na internet. Sťahujte kliknutím sem.

Tento text načítal neurálny hlas. Najlepšie sa počúva v aplikácii Denník N, aj s možnosťou stiahnutia na počúvanie offline. Našli ste chybu vo výslovnosti? Dajte nám vedieť.

[25 rozhovorov o slovenskej vede v knižnej podobe – to je novinka Ako chutí tarantula? reportérky Zuzany Vitkovej.]

„Treba si uvedomiť hlavne to, že sme ešte v experimentálnej fáze. Sme tak trochu ako laboratórne myšky,“ hovorí o používaní chatu GPT Marián Šimko z Kempelenovho inštitútu inteligentných technológií (KInIT).

Nástupu umelej inteligencie sa neobáva a tvrdí, že celkovo nám do života prináša výhod než nevýhod. V rozhovore vysvetľuje, ako sa dá využiť na boj s dezinformáciami a ako sa bude meniť naša komunikácia s počítačom.

V rozhovore sa okrem iného dozviete: 

  • prečo je ľahšie naučiť umelú inteligenciu po anglicky ako po slovensky;
  • ako zbaviť umelú inteligenciu predsudkov;
  • ako zabezpečiť, aby sa umelá inteligencia netrénovala aj na našich citlivých údajoch;
  • či by mali byť algoritmy sociálnych sietí upravené zákonom;
  • nakoľko tréning umelej inteligencie zaťažuje životné prostredie.

Tento článok si môžete prečítať vďaka ESET Science Award – oceneniu, ktoré podporuje výnimočnú vedu na Slovensku. 

Tento týždeň vyšla nová verzia chatu GPT-4. V čom je iná?

GPT-4 je ďalšia generácia jazykových modelov. Okrem toho, že je táto verzia už štandardne väčšia a komplexnejšia ako jej predchodca, je multimodálna, čo znamená, že pracuje už nielen s textom, ale aj s obrazom.

Na čo je to dobré?

Napríklad vstupy možno zadať nielen v textovej podobe, ale aj ako obrázky. Pri interakcii s četbotom bude možné používať fotografie alebo skice, napríklad v prípade študenta, ktorý nebude rozumieť nejakému grafu. Avizovaných zlepšení je však viacero.

Aplikáciu GPT začal používať aj vyhľadávač Bing od Microsoftu. V porovnaní s Googlom bol Bing roky skôr terčom vtipov než používaným nástrojom. Zmení to práve umelá inteligencia?

Je to možné. Práve veľké firmy, ktoré stoja za vyhľadávaním informácií, vedú vývoj týchto veľkých jazykových modelov. Je prirodzené, že sa potom objavujú aj vo vyhľadávačoch. Bing nemal vzhľadom na svoju pozíciu na trhu čo stratiť a prišiel s touto inováciou, ktorá je do veľkej miery ešte experimentálna. Ale naozaj to môže zmeniť spôsob, ako na internete fungujeme.

Tá zmena sa v podstate netýka ani tak umelej inteligencie, ale skôr interakcie človeka s počítačom. Čiže spôsob, akým sme sa voľakedy učili googliť, pričom to bol pre nás nový vesmír, sa teraz znova zmení. Respektíve sa možno po špirále vrátime a budeme sa pri vyhľadávaní pýtať vo svojom prirodzenom jazyku.

V čom to bude iné? Bude to viac pripomínať rozhovor dvoch ľudí?

Áno. Očakávanie je také, že budeme vedieť formulovať otázky tak, ako ich máme v mysli a prídu nám na jazyk. Nebudeme to musieť prekladať do jazyka, ktorému rozumejú vyhľadávače dnes.

Bezpečnostnou obavou pri používaní tohto četu je ochrana dát. Ako zabezpečiť, že umelá inteligencia sa nebude trénovať aj na našich citlivých údajoch?

Korektné spracovanie dát je veľmi dôležité práve preto, lebo umelá inteligencia sa z nich učí a citlivých dát spotrebuje kvantá. Niektoré citlivé údaje sa môžu teoreticky objaviť aj v jej odpovediach. To, ako budú tieto dáta chránené a ako budú korektne vyberané, aby potom nedošlo k úniku osobných informácií, potrebujeme ešte doriešiť. Rovnako aj to, ako budú modely aj neskôr kontrolované, aby neobsahovali citlivé alebo nebezpečné dáta.

Momentálne je to podľa vás bezpečná služba? Čo sa dnes neoplatí pýtať umelej inteligencie?

Treba si uvedomiť hlavne to, že sme ešte v experimentálnej fáze. Sme tak trochu ako laboratórne myšky, keďže autori modelov sa momentálne snažia zistiť, čo všetko sa dá pomocou nich dosiahnuť a ako presne na ne reagujú ľudia.

Táto služba pre nás, vzhľadom na schopnosť viesť dialóg, funguje intuitívne, ale z tej personifikovanej komunikácie máme zároveň trochu strach. Máme tendenciu predstaviť si umelú inteligenciu ako nejakého robota, ktorý má city a tak ďalej. Keď nám potom takýto čet zrazu začne vyznávať lásku, cítime sa nekomfortne. No a toto všetko sa musí ešte nejakým spôsobom doladiť. Je to úloha aj pre nás vedcov, aby to v konečnom dôsledku bola technika, ktorá posúva naše životy ďalej v dobrom slova zmysle a nie naopak.

Umelú inteligenciu si podľa odborníka často predstavujeme ako nejakého robota, ktorý má city. Ilustrácia – T. B. s Midjourney

Pred pár týždňami bol medializovaný prípad amerického novinára, ktorému umelá inteligencia vyznávala lásku a odporúčala mu opustiť manželku. Ako na to umelá inteligencia prišla, ak nemá pocity?

Jadrom četbotov s použitím umelej inteligencie sú veľké jazykové modely. Tie fungujú tak, že umelá inteligencia si načíta veľké množstvo kníh, textov a rozličného obsahu z webu. Z toho si urobí nejaké vlastné komprimované videnie sveta a pri komunikácii si z neho vyberá nejaké časti. V prípade četovacích botov boli tie jazykové modely doladené na to, aby dokázali viesť konverzáciu.

Čiže tak ako používateľ nastaví tému a akým spôsobom komunikuje, takým spôsobom mu četbot odpovedá. Samozrejme, aby to bolo zaujímavé, sú tam aj nejaké prvky náhody alebo nejaké experimentálne vlastnosti, ktoré môžu tvorcovia do četbotov zakomponovať. Ťažko povedať, čo bolo zdrojom toho, že četbot poradil človeku opustiť manželku. Svedčí to o tom, že technika ešte nie je v „produkčnej verzii“, nie je vyspelá a treba si dávať pozor. S veľmi vážnymi a citlivými otázkami by som sa na ňu teraz určite neobracal.

Vám už niekedy umelá inteligencia odpovedala niečo také, že ste dostali chuť odinštalovať aplikáciu, z ktorej sa k vám prihovárala?

Neodinštaloval som zatiaľ nič. Akýkoľvek čudný výstup je pre mňa skôr inšpiratívny. Zamýšľam sa nad tým, prečo mi prišla takáto odpoveď a ako umelá inteligencia dospela vo svojom rozhodovaní až do týchto zákutí.

Četboty väčšinou používame na vyhľadávanie odpovedí. Na čo okrem tohto a bizarných debát ešte vieme takéto veľké jazykové modely využiť?

Veľké jazykové modely sa môžu používať napríklad na opravu textu a dopĺňanie slov, čo nám urýchľuje napríklad písanie na mobile. Hlavná vlastnosť týchto jazykových modelov je, že majú nejaký pravdepodobnostný štatistický model. Ten vie, aké slová by mohli patriť do vety, ktorú práve píšete, a ponúkne vám ich. Keď máte napríklad vetu, ktorá sa začína: „Na stene visí…..“, model vie odhadnúť, že pravdepodobnejšie bude nasledovať slovo „obraz“ než „veverička“ alebo „cesta“.

Takže takéto modely využívame v rôznych aplikáciách už roky, len sme si to tak veľmi nevšímali, kým sme sa nezačali rozprávať a GPT-3?

Staršia generácia jazykových modelov s názvom BERT je tu už nejaký čas a jej aplikácie už v princípe máme aj v mobiloch. Keby ste si teraz chceli niečo vygoogliť, tak už nemusíte rozpisovať celý dopyt do detailov. Tento model sa to vie dovtípiť podľa prvých zadaných slov. Takisto vie opravovať chyby v dokumentoch na základe toho, že pozná jazyk a videl množstvo podobných príkladov v iných textoch. Vďaka tomu napríklad vie, kde má byť čiarka, aj keď to vy neviete, a dá ju tam.

Moja e-mailová schránka sa ma pravidelne pýta, či chcem odoslať e-mail bez priloženej prílohy, keď v jeho tele použijem slovo pripájam. To je tiež práca umelej inteligencie?

Môže to tak byť. Ale na takúto kontrolu postačuje aj oveľa jednoduchší algoritmus.

Ste spoluautorom prvého slovenského jazykového modelu, ktorý sa volá SlovakBERT. Ako vznikal?

Slovak BERT je slovenská verzia modelu BERT, ktorý som už spomínal. Je to staršia a trochu iná generácia jazykového modelu ako GPT, ktorý je primárne generatívny. Pustili sme sa doň vlastne v časoch, keď bol GPT-3 ešte pomerne nová, okrajová technika a BERT dominoval. Vznikol v spolupráci s partnerom Gerulata Technologies a my sme ho potom sprístupnili svetu aj s vedeckým článkom, ktorý opisuje jeho vlastnosti.

Je ťažšie naučiť umelú inteligenciu po slovensky než po anglicky alebo francúzsky?

Trénovať umelú inteligenciu na slovenčinu je ťažšie, lebo ňou rozpráva málo ľudí a aj zdrojov na učenie slovenčiny je preto rádovo menej ako pre dominantné jazyky typu angličtina. Slovenčinu bolo treba urobiť úplne od piky, čiže nazhromažďovať texty, natrénovať model a potom ho doladiť tak, aby bol použiteľný aj na ďalšie úlohy. Potom sme modely vystavili verejne, aby ich mohli ľudia používať. Odvtedy sa nejaké veci zmenili a do popredia sa dostali takzvané multilingválne modely, ktoré už dokážu samy imitovať aj učenie sa medzi jazykmi. To znamená, že nejakej neurónovej sieti dáme vstupy z rôznych jazykov, ona si v nich vie nájsť vzory a potom zabezpečí prenos informácií. Čiže dnes je práca s malými jazykmi trochu jednoduchšia. Ale stále platí, že pre slovenčinu existuje málo textových zdrojov.

„Trénovať umelú inteligenciu na slovenčinu je ťažšie ako na dominantné jazyky,“ vysvetľuje Šimko. Foto N – Tomáš Hrivňák

Môžem si tréning jazykového modelu predstaviť tak, že mu dáte prečítať celú slovenskú literatúru a potom aj všetky ďalšie slovenské texty, ktoré nájdete?

Áno, ten model vznikal tak, že prečítal všetko, čo sa v tom čase dalo zohnať z verejných zdrojov. Samozrejme, každý model je len taký dobrý, aké dáta mal pri učení k dispozícii. Preto sa treba starať o to, aby boli korektné, vyvážené a férové. Pretože keď sa učí z obsahu získaného napríklad od nejakej homofóbnej komunity, tak vám potom bude dávať aj také odpovede.

Práve predsudky sú jedným z veľkých problémov umelej inteligencie, keďže si do svojich algoritmov prelieva aj tú horšiu časť našej povahy. Ako zabrániť umelej inteligencii, aby sa napríklad pri triedení životopisov rozhodovala na základe pohlavia?

Aby bol model v konečnom dôsledku čo najférovejší, je nutné zabezpečiť, aby „videl“ dobre distribuované dáta a nemal jednostranné pohľady. Keď niekto robí pri jeho trénovaní vedomé alebo podvedomé operácie (napríklad pri označovaní vhodnosti/nevhodnosti životopisov), ktoré vedú napríklad k znevýhodneniu ženských životopisov, umelá inteligencia sa to veľmi ľahko naučí.

Môže sa stať aj to, že takéto komplexné trénovacie dáta nie sú k dispozícii. Potom treba modely buď vylaďovať a týmto zmierňovať ich negatívne následky, alebo zakázať modelu pracovať s témami, ktoré sú kontroverzné. To sa týka rôznych typov predsudkov od pohlavia cez vekové kategórie až po sexuálnu orientáciu či etnickú príslušnosť.

Pri trénovaní umelej inteligencie sa spotrebuje aj dosť veľa energie. Nakoľko zaťažuje táto technika naše životné prostredie?

Trénovanie tých najväčších modelov umelej inteligencie má naozaj značnú energetickú náročnosť a produkuje stovky ton emisií. Treba však povedať, že toto sa deje pri experimentálnom nastavení, pri ktorom ešte len hľadáme optimálnu konfiguráciu. Niektoré aplikácie umelej inteligencie nám pritom v budúcnosti môžu pomôcť aj s riešením energetickej otázky.

Keď experimentálny model teraz vyprodukuje stovky ton emisií, určite to neznamená, že aj na ňom postavená technika bude mať takúto istú spotrebu. Základné trénovanie je – v porovnaní s využívaním modelov v ostrej prevádzke – jednorazová vec. Na druhej strane, konať zodpovedne by sme mali aj v prípade výskumu a vývoja a mali by sme sa sústrediť aj na to, ako tieto emisie čo najviac znížiť.

Ako umelú inteligenciu naučiť rozoznávať pravdu od lží, aby nám neradila veci, ktoré nie sú pravdivé a v niektorých prípadoch sú vyslovene nebezpečné?

Odpoviem protiotázkou: ako dobre vieme my ľudia rozoznávať pravdu od lží? Téma dezinformácií je v momentálne veľmi živá a stojí za mnohými problémami, ktoré tu máme. V súčasnosti máme preto v Kempelenovom inštitúte niekoľko projektov, ktoré sa venujú boju s dezinformáciámi. Umelá inteligencia je len prvok v tom systéme, ktorý môže byť na jednej strane nápomocný a na druhej strane môže dezinformácie aj pomáhať tvoriť a šíriť. Takže skôr záleží na ľuďoch, ktorí umelú inteligenciu využívajú na oboch stranách, než na samotnej technike.

Ako nám teda môže umelá inteligencia pomáhať bojovať s dezinformáciami?

Napríklad môže pomáhať fact-checkerom. To sú ľudia, ktorí sa svedomito snažia overovať fakty vo verejnej diskusii a preukazovať, že niečo bolo pravdivé a niečo nepravdivé. Metódy umelej inteligencie im môžu pomôcť vyhľadávať potenciálne nebezpečný a falošný obsah a vďaka tomu znížiť to kvantum dezinformácií, ktoré prúdia v éteri.

Zároveň môže vyhľadávať fact-checky, ktoré boli vykonané v minulosti. Aj staršie dezinformácie z času na čas ožívajú alebo sa premiestňujú z krajiny do krajiny. Preto by trebárs pomohlo vedieť rýchlo zistiť, či nejaký podozrivý obsah už napríklad nejaký Španiel alebo Talian overoval predtým. Ušetrili by sme tým fact-checkerom čas. Takéto a ďalšie nástroje pre fact-checkerov pomáhame vytvárať v rámci projektu CEDMO.

Ako by sme sa mohli inšpirovať v boji proti dezinformáciám zo sveta? Ktorej krajine to ide najlepšie?

To je ťažká otázka. Na Slovensku sme na tom naozaj veľmi zle a analýzy ukazujú, že veľmi veľká časť obyvateľstva dokáže dezinformáciám prepadnúť. Videli sme to aj v posledných rokoch pri téme covidu a vojny na Ukrajine. Neviem, či to je nejaká nešťastná historická skúsenosť, že máme tendenciu veriť alternatívnym naratívom. Ani z pohľadu umelej inteligencie nie je podpora slovenčiny ako jazyka ideálna a myslím, že máme len jedného profesionálneho fact-checkera, ktorý pracuje so slovenským obsahom. Okrem zvyšovania záujmu či zdrojov na fact-checking by sme sa mohli inšpirovať krajinami, ktoré majú dobré vzdelávanie v kritickom myslení. To bude esenciálne preto, aby sme dokázali ako spoločnosť ďalej fungovať.

Momentálne sa zdá, že boj s dezinformáciami prehrávame. Čiastočne môžeme viniť aj algoritmy umelej inteligencie, ktoré pracujú v rámci sociálnych sietí. Čo s tým?

Opäť je podľa mňa najdôležitejšia osveta. Aby už deti od raného detstva vedeli, ako prijímať informácie, a že každá technika má isté algoritmické ohraničenia. Ale na to musíme tie mechanizmy a ich účinky poznať. Tu vstupujú do hry poznatky z mnohých vedných odborov, napríklad z psychológie či behaviorálnych vied. Ľudia sú citliví na rýchle hormonálne „odmeny“, ktoré v tele prebiehajú. Na sociálnych sieťach majú preto tendenciu vyhľadávať také interakcie, ktoré im prostredníctvom nich zabezpečia rýchle potešenie. Napríklad vďaka lajkom. Zároveň platí, že ľudia majú tendenciu tráviť na sociálnej sieti viac času, keď sa zahrá s ich emóciami. Podľa toho sú nastavené aj algoritmy, ktoré odporúčajú takýto emocionálny (napríklad provokatívny) obsah. Musíme si uvedomovať, že tieto algoritmy nás chcú na sociálnej sieti udržať čo najdlhšie, aby z toho ich prevádzkovateľ, teda sociálna sieť, profitovala.

Mal by podľa vás tieto algoritmy nejako dramatickejšie upravovať aj zákon?

Práve Európska únia je v tomto priekopníčkou aj z celosvetového hľadiska a je prichystaný legislatívny rámec na to, ako upravovať dosahy umelej inteligencie. V ňom sa aplikácie umelej inteligencie rozdeľujú podľa miery rizika a následkov, ktoré dokážu mať. A z pohľadu tých potenciálne veľmi škodlivých aplikácií treba mať nastavené nejaké mantinely, podľa mňa aj v legislatívnej rovine. Regulácie však nevyriešia všetko a na konci dňa musíme byť aj tak my ľudia tí osvietení a uvedomiť si, že toto je riziko a takýto je svet s technikou.

Ktoré aplikácie sú podľa vás momentálne najnebezpečnejšie?

Napríklad tie, ktoré sledujú človeka, keď na letiskách skenujú jeho pohľad, alebo vykonávajú takzvaný sociálny skóring. To znamená, že zbierajú dáta, ktoré sú veľmi citlivé, pracujú s osobnými údajmi a s bioúdajmi. Nemali by sa preto dostať do rúk nesprávnych ľudí.

Umelá inteligencia vyvoláva v ľuďoch rozporuplné pocity. Bojíme sa, či nás nepripraví o prácu, a zároveň dúfame, že nám v mnohých veciach zjednoduší život. Na ktorú stranu sa prikláňate vy?

V histórii ľudstva bolo veľa prípadov, keď sme sa nejakej techniky báli. Je to možno prirodzená vlastnosť človeka. Metódy umelej inteligencie nám vedia veľa vecí zjednodušiť, takže nebral by som to tak tragicky. Samozrejme, nejakým spôsobom ovplyvní svet, v ktorom fungujeme. Postupne možno aj významne, ale nepôjde o to, že sa jeden deň zobudím a život, ako som ho poznal, sa skončil. Zmenia sa niektoré povolania a upraví sa aj pracovný trh, ale to sa deje stále. Pri niektorých povolaniach umelú inteligenciu vnímam ako nejaký nástroj, ktorý profesionálom umožní byť ešte lepší. Ja by som sa toho nebál.

Takže umelá inteligencia s vami tak skoro nedokáže urobiť takýto rozhovor namiesto mňa?

Takýto zrejme nie. Nejaký asi áno. Najmä ak si prečíta a naučí sa veľa rozhovorov, ktoré už robil predtým niekto iný.

Okrem jazyka učíte umelú inteligenciu rozpoznávať aj zložité obrázky. Práve na rozpoznaní obrázkov dnes často stojí odlíšenie človeka od robota na internete. Keď to umelá inteligencia dokáže, ako budeme dokazovať, že nie sme roboti?

Ono je to vždy súboj dvoch strán. Jedna sa snaží čo najviac automatizovať ľudské aktivity a tváriť sa, že je človek, a druhá to chce rozpoznať a vymýšľa pre stroje stále ťažšie úlohy. Takže verím, že aj po CAPTCHA testoch vymyslíme spôsob, ako potrápiť príliš prefíkaný a sofistikovaný softvér.

Umelá inteligencia vie vytvoriť osobu, ktorá neexistuje, ale aj napodobniť osobu, ktorá existuje. Zatiaľ sú jej pokusy často komické, ale čo budeme robiť, keď to dokáže bez šance na rozpoznanie?

K tomu bodu smerujeme. Treba si uvedomiť, že to jednoducho bude súčasť života a sveta v budúcnosti. Budú existovať vizuálne, zvukové a akékoľvek prejavy, o ktorých budeme musieť vedieť, že môžu mať pôvod v živom človeku, ale aj v umelej inteligencii. Na tom, ako sa chrániť pred škodlivými následkami, budeme musieť pracovať opäť len my ľudia. Ale celkovo si myslím, že umelá inteligencia – alebo aplikácie strojového učenia vo všeobecnosti – prináša omnoho viac výhod než nevýhod. Prirodzene, s tým dobrým prídu aj zlé veci, ale to sú výzvy, na ktoré musíme reagovať.

Čo sú aplikácie umelej inteligencie, ktoré podľa vás momentálne ľuďom najviac zlepšujú život?

Asi by to boli tie, o ktorých sme sa dnes nerozprávali. Napríklad pomoc pre lekárov v diagnostike ochorení, ale aj využitie v doprave, ktoré môže pomôcť množstvu ľudí nájsť denne svoje ciele rýchlejšie. No a pri tom, koľko času dnes zabijeme písaním e-mailov, môže byť pre nás umelá inteligencia užitočná aj v tejto oblasti.

Dočítala som sa, že ste fanúšikom hry Scrabble v slovenčine. Porazil by vás v nej už SlovakBERT, ktorého ste pomáhali vytvoriť, alebo ešte nie?

On asi nie, lebo nie je vytvorený na to, aby dokázal hrať Scrabble. Táto hra nie je tak ľahko implementovateľná do jazykového modelu, lebo je v nej dôležité napríklad to, či je slovo spisovné alebo nespisovné. V tom by sa jazykový model mohol mýliť dosť často. Ale musím jedným dychom dodať, že na to, aby niekto vytvoril aplikáciu, ktorá dokáže poraziť ľudského skreblistu, netreba veľmi sofistikovanú umelú inteligenciu. Stačí dostatočne veľký slovník a nejaké jednoduchšie algoritmické riešenie. Počítač nás v takom prípade porazí už len v tom, že má oveľa lepšiu pamäť a vybaví si slová, ktoré nám štandardne asi nenapadnú.

Radosť z hry vám to neberie?

Nie.

Marián Šimko

Je odborníkom na spracovanie prirodzeného jazyka a umelé neurónové siete. Pôsobí ako vedúci výskumného tímu zaoberajúceho sa spracovaním prirodzeného jazyka a zástupca riaditeľky v Kempelenovom inštitúte inteligentných technológií (KInIT). V rokoch 2015 až 2019 pôsobil ako prodekan pre inžinierske štúdium a spoluprácu s absolventmi na FIIT STU v Bratislave. Aktuálne sa zaoberá výskumom a vývojom riešení spracovania prirodzeného jazyka so zameraním na neurónové jazykové modely a jazyky s tzv. málo dostupnými dátami, medzi ktoré možno zaradiť aj slovenčinu, s dôrazom na reálne aplikácie v praxi. Je vášnivým hráčom Scrabble. Je spolutvorcom slovenského variantu slovnej hry Wordle.

Nezávislosť médií na Slovensku nebola od roku 1989 nikdy vo väčšom ohrození, ako je teraz. Ak nás chcete podporiť nad rámec predplatného, môžete to urobiť aj darom. Vopred ďakujeme🤞

Máte pripomienku alebo ste našli chybu? Prosíme, napíšte na [email protected].

ESET Science Award

Rozhovory

Technológie

Umelá inteligencia

Vedecký podcast N2

Veda, Zdravie

Teraz najčítanejšie