Mami, kolujú fotky, na ktorých som hore bez. Ako deepfake porno ničí životy žien a dievčat

Nikomu cez internet neposielajte svoje nahé fotografie. Polícia upozorňuje, že z príjemcu sa môže vykľuť predátor, ktorý fotky zneužije na vydieranie.

Aj keď je táto rada stále platná, dnes už nemusí stačiť na to, aby sa na internete neobjavili vaše nahé fotky. Ukazuje to aj prípad americkej speváčky Taylor Swiftovej z konca januára, keď na sociálnej sieti X – predtým Twitter – kolovali jej deepfake pornografické fotografie.

Obrázky vygenerovala umelá inteligencia.

Denník N písal o téme v článku kolegyne Denisy Ballovej.

V tomto článku priblížime, ako fungujú takzvané „aplikácie na vyzliekanie“, a psychologička vysvetlí, ako na psychiku dievčat a žien vplýva, ak na internete kolujú ich nahé deepfake fotky.

Takisto poradíme, kam sa obrátiť o pomoc.

Obeťami sú takmer výlučne ženy

Deepfake technológia je prakticky od svojho počiatku zameraná najmä na tvorbu pornografického obsahu.

Podľa štúdie z roku 2019, ktorú vykonala spoločnosť Sensity na monitoring deepfakov, tvorilo porno až 96 percent zo všetkých deepfake obrázkov. Z nich 99 % zobrazovalo ženy, prípadne dievčatá.

Od roku 2018 doteraz sa počet falošných obrázkov vygenerovaných umelou inteligenciou na stránkach s deepfake pornografickým materiálom zvýšil o stovky percent.

Čo sa týka deepfake videí, minulý rok ich na internete viselo takmer 96-tisíc, čo je od roku 2019 nárast o 550 %. Deepfake pornografia tvorí 98 % zo všetkých deepfake videí na internete.

Tréning na otextovaných obrázkoch

O takzvaných „aplikáciách na vyzliekanie“ sa začalo písať v roku 2019 – spočiatku neboli dokonalé, a aj keď falošné nahé obrázky vyzerali pomerne realisticky, nezriedka obsahovali chyby.

Technológia, ktorá stojí za deepfake videami, sa vylepšila v ostatnom období s nárastom výpočtovej sily aj s pokrokom v oblasti generatívnej umelej inteligencie, vysvetľuje Marián Šimko, odborník na umelú inteligenciu z Kempelenovho inštitútu inteligentných technológií (KInIT).

Výsledkom sú hyperrealistické obrázky, ktoré sa prakticky nedajú odlíšiť od skutočnosti.

Technológia je založená – či skôr parazituje – na modeloch strojového učenia nazvaných „text-to-image“. „Trénované sú využitím dvoch typov dát – textu a obrazu,“ vysvetľuje Marián Šimko.

Tie najlepšie modely sa trénujú až na stámiliónoch otextovaných či označkovaných obrázkov. Takým textom môže byť napríklad „žena sediaca na lavičke“. Čím presnejší je opis, tým lepšie model rozumie tomu, čo je na obrázku, a dokáže zachytiť aj jeho nuansy.

„Jeden zo spôsobov, ako zlepšiť generované obrázky, spočíva v precíznejšom trénovaní, čo sa môže dosiahnuť tak, že textové opisy obrázkov z trénovacej databázy budú čoraz podrobnejšie,“ približuje Marián Šimko. Odborník dodal, že na ich tvorbu sa už použili nástroje, ktoré tieto opisy generujú automaticky, a to v obrovskom rozsahu.

Keď má model k dispozícii takéto údaje, „vytvorí si z nich počas trénovania vnútornú reprezentáciu či videnie sveta; v skutočnosti ide o obyčajné čísla, ktoré neskôr dokáže spätne dešifrovať na obrázok,“ vraví Marián Šimko z KInITu.

Podľa zadaného „promptu“ či inštrukcií užívateľa vznikne výsledná fotografia.

Vytvoriť obrázok trvá sekundy

Medzi najznámejšie modely, ktoré z textovej inštrukcie tvoria obrázky, patrí Midjourney alebo DALL-E 3 od OpenAI.

Radí sa k nim aj model Stable Diffusion, ktorý vznikol ako open source, to znamená ako softvér voľne dostupný pre všetkých. Práve to vytvorilo priestor pre nekalú činnosť, lebo ľudia so zlými úmyslami si model stiahli a upravili ho spôsobom, aby dokázal generovať nahé fotky.

Okrem Stable Diffusion sa v tejto súvislosti spomína aj ďalší open source model – pix2pix.

Upravené nástroje – ktoré vychádzajú zo Stable Diffusion alebo pix2pix – sa dotrénovali na tisíckach fotiek nahých žien.

V súčasnosti je takých modelov k dispozícii viacero a v tomto článku nebudeme uvádzať meno žiadneho z nich.

Spoplatnené verzie „aplikácií na vyzliekanie“ generujú viac nahých obrázkov a rýchlejšie. Vytvoriť falošný obrázok trvá iba niekoľko sekúnd (na porovnanie, výroba deepfake pornografického videa trvá do 25 minút) a zvládne to každý, lebo do appky stačí len nahrať požadovanú fotku.

Generátory deepfake fotografií postavené na modeli Stable Diffusion si možno stiahnuť do počítača, čo komplikuje odhaľovanie páchateľov, lebo fotografie možno vyrobiť aj bez pripojenia na internet.

V niektorých prípadoch slúži ako aplikácia na vyzliekanie četbot v skupinách na sociálnej sieti Telegram.

Väčšina aplikácií na vyzliekanie funguje len na fotkách žien, píšu Seznam Zprávy. Aj my sme mali podobnú skúsenosť, hoci sme v tomto prípade vyskúšali len jednu z týchto aplikácií.

Vinia skupinu na Telegrame

Niektorí prevádzkovatelia týchto aplikácií neuvádzajú žiadne obmedzenia na ich používanie. Iní zakazujú nahrávanie fotiek maloletých, ale aj v tomto prípade ide len o pro forma opatrenie.

Prevádzkovateľ „vyzliekacieho“ četbota zľahčoval negatívny vplyv tejto technológie, keď ho v roku 2020 konfrontovala spoločnosť Sensity. „Všetko [čo používame] je voľne dostupné. Ak sa rozhodnete, že túto zábavnú aplikáciu použijete sebecky, za svoje konanie sa musíte zodpovedať,“ reagoval anonymný tvorca podľa portálu Wired.

Podľa zistení 404 Media pochádzali deepfake obrázky Taylor Swiftovej zo skupiny na Telegrame, ktorá na tvorbu takéhoto materiálu zvykne používať nástroj Microsoft Designer.

Microsoft medzičasom zaviedol poistku, aby zabránil tvorbe falošných pornografických obrázkov. Podobné kroky zrejme v ostatnom období podnikli aj ďalšie spoločnosti vrátane firmy Stability AI, ktorá vyvíja model Stable Diffusion.

Podľa kritikov však takéto opatrenia nie sú 100-percentné a v niektorých prípadoch sa ich podarilo prelomiť. Pri Stable Diffusion navyše platí, že k dispozícii sú stále aj staré modely bez poistky.

„Mami, kolujú fotky, na ktorých som hore bez.“

Obeťami deepfake porna nie sú len dospelí ľudia, ale aj deti a mladí. Napríklad v januári 2024 sa na sociálnej sieti X šírili deepfake pornografické fotografie iba 17-ročnej herečky Xochitl Gomezovej.

Tínedžerka povedala, že sociálna sieť nevyhovela jej žiadosti, aby obrázky odstránila. „Dajte to dole, prosím,“ žiadala Gomezová v podcaste The Squeeze. „Nemá to so mnou nič spoločné, napriek tomu to tam visí s mojou tvárou.“

K masovému šíreniu deepfake porna dievčat došlo minulý rok v španielskom meste Almendralejo na juhozápade krajiny. Takmer 30 obetí bolo vo veku od 11 do 17 rokov.

„Jedného dňa prišla moja dcéra zo školy a povedala mi: ‚Mami, kolujú fotky, na ktorých som hore bez‘,“ povedala María Blanco Rayo, matka 14-ročného dievčaťa.

„Spýtala som sa jej, či sa fotila nahá, a ona mi povedala: ‚Nie, mami, sú to falošné fotografie dievčat. Teraz sa tvoria často a v mojej triede sú aj iné dievčatá, ktorým sa to stalo‘.“

Podľa informácií z minulého roka polícia identifikovala najmenej 11 miestnych chlapcov, ktorí sa podieľali na tvorbe obrázkov alebo ich šírení cez aplikácie WhatsApp a Telegram.

Previnilci mali od 12 do 14 rokov.

Všetky deepfake obrázky boli vytvorené z fotografií oblečených dievčat, z nich mnohé pochádzali z účtov na sociálnych sieťach. Deepfake fotky vznikli bez súhlasu obetí.

„Bojíte sa dvoch vecí – ak máte syna, obávate sa, že by mohol urobiť niečo podobné, a ak máte dcéru, obávate sa ešte viac, pretože ide o násilný čin,“ cituje BBC Gemu Lorenzovú, matku 16-ročného syna a 12-ročnej dcéry z Almendraleja v Španielsku.

Obete prežívajú úzkosť či depresiu

Deepfake pornografický obsah sa objavil aj na Slovensku, vraví špeciálna pedagogička Zuzana Juráneková. „Stretli sme sa s príbehmi, kde napríklad po odmietnutí poslať fotku groomerovi – online predátorovi, ktorý si vytvára dôverné vzťahy s mladými ľuďmi s cieľom uspokojiť svoje sexuálne potreby – vznikli deepfake fotky z photoshopov, ktoré boli použité na zastrašenie, vydieranie a zahnanie mladého človeka ‚do kúta‘,“ dodáva Juráneková z občianskeho združenia IPčko, ktoré prevádzkuje linku pomoci pre mladých ľudí IPčko.sk.

Podľa odborníčky sa o mnohých skutkoch tohto druhu zneužívania nevie, keďže obeť nevyhľadá pomoc vždy.

Ak sa zneužije reálna fotografia, žena alebo dievča si často kladú za vinu, že ju poslali človeku, ktorému verili, no on ich dôveru zradil, vraví Juráneková. „[Ale] pri fotografiách vytvorených umelou inteligenciou alebo photoshopom k tomuto nedochádza, pretože fotografiu môže urobiť hocikto, kto s vami ani nie je v kontakte. O to väčší je šok, panika a stres, keď zistíte, že takáto fotografia existuje.“

Obete digitálneho zneužívania prežívajú úzkosť, depresiu, posttraumatickú stresovú poruchu, ale vyskytujú sa pri nich aj zmeny v stravovacích a spánkových návykoch, sociálna izolácia či samovražedné sklony, prípadne pokusy o ukončenie života, ak nemajú dostatočnú sieť podpory a odbornej pomoci.

„Ženy na fotografiách a videách sa cítia sexuálne zneužité, zahanbené, ‚špinavé‘, nerozumejú tomu, čo sa stalo, a často majú strach aj z toho, že ľudia uveria tomu, že je to pravdivá fotka, a neuveria im, že je to fake a že sa stali obeťami sexuálneho násilia v takejto ‚novej‘ podobe,“ dodáva Juráneková z IPčko.sk.

Podľa nej takéto zneužívanie negatívne vplýva aj na fyzické zdravie obete. Trpí aj rodina.

Aj v prípade, že fake obrázky nevyzerajú obzvlášť realisticky, „stále to stačí na to, aby človeku spôsobili nenapraviteľnú škodu“, hovorí pre The Guardian Noelle Martinová, obeť fake porna. Podľa jej slov fake porno vplýva na všetko v jej živote, počnúc schopnosťou zamestnať sa cez zárobky až po vzťahy. Následky tejto formy zneužívania označila Martinová za trvalé a opakovane si ich musí pripomínať, napríklad pri pracovných pohovoroch. „Je to niečo, o čom musíte hovoriť na prvých rande. Zasahuje to do každého aspektu vášho života,“ dodala.

Opovrhujú ženami

Najviac ohrození sú mladí ľudia v tínedžerskom veku. „Z hľadiska vývinovej psychológie sa nachádzajú v náročnom životnom období, ktoré je sprevádzané mnohými zmenami, vývinovými úlohami a potrebami, ale nemajú ešte dostatok životných skúseností na zvládanie ťažkých situácií. Preto sa u nich často objavuje tendencia k extrémnemu, radikálnemu až fatálnemu riešeniu,“ vraví Juráneková.

Laura Bates, autorka knihy Men Who Hate Women (Muži, ktorí nenávidia ženy), pre Guardian povedala, že deepfake pornografický materiál obvykle sprevádza mizogýnny slovník a masívne sa šíri v extrémistických mizogýnnych komunitách.

Podľa Zuzany Juránekovej nemožno zovšeobecňovať, že deepfake porno je prejavom iba nenávisti k ženám, „ale sú muži, ktorí cez porno deklarujú svoju neúctu a opovrhovanie k ženám“.

„Fenomén deepfake porna vysiela veľmi rizikový signál, že na poníženie ženy – sexuálne aj spoločenské – nepotrebujete súhlas a možno jej ublížiť veľmi rýchlo a s minimálnou námahou, keďže to urobí umelá inteligencia,“ dodáva Juráneková.

Deepfake porno sa nenachádza iba na pornografických stránkach, pretože sa šíri aj inak – napríklad na sociálnych sieťach, najmä na neregulovanom Telegrame.

Ako sa brániť

Právnik Tomáš Kamenec z advokátskej kancelárie Paul Q hovorí, že ak sa šíri deepfake pornografický obsah, obeť by mala podať trestné oznámenie, sociálnu sieť by mala žiadať o stiahnutie obrázku pre porušenie pravidiel komunity, prípadne by mohla podať podnet na Radu pre mediálne služby.

Podľa Kamenca by sa na tento typ obsahu mal vzťahovať § 375 „Poškodzovanie cudzích práv“ Trestného zákona. „Ale technológia napreduje tak rýchlo, že predbieha právo a v Trestnom zákone to nie je dobre ošetrené,“ dodáva Kamenec.

Ako už Denník N písal, Európska únia prijala predpisy, ktoré obsahujú ustanovenia o deepfakoch. Zákon o digitálnych službách (DSA) od online platforiem požaduje, aby prijali opatrenia na obmedzenie rizika šírenia obsahu, ktorý porušuje právo na súkromie alebo šíri falošné porno či snímky, na ktoré nebol udelený súhlas.

Ďalší zákon o umelej inteligencii (Artificial Intelligence Act) čaká od roku 2021 na schválenie všetkými 27 členskými štátmi EÚ. Keď prejde, od spoločností, ktoré vytvárajú deepfaky pomocou umelej inteligencie, bude vyžadovať, aby používateľov informovali, že obsah je umelý alebo zmanipulovaný.

Odborník na umelú inteligenciu Marián Šimko povedal, že v EÚ sme na tom o niečo lepšie než inde vo svete, keďže v Únii sa ochrane občanov pred deepfakemi venuje zvýšená pozornosť (pripravovaný zákon o umelej inteligencii a iné).

Znásilnenie vo virtuálnej realite

Umelá inteligencia je technológia ako každá iná a tak, ako ju niektorí využívajú s dobrým úmyslom, iní ju môžu zneužiť, vraví Šimko.

„Analogickým príkladom sú dezinformácie – zatiaľ čo na jednej strane nám veľké jazykové modely úžasným spôsobom zlepšujú život, na strane druhej sa môžu zneužiť na šírenie zámerných lží,“ dodáva vedec z Kempelenovho inštitútu inteligentných technológií.

Podľa Šimka si postupne vybudujeme intuíciu, že obrázky alebo videá, na ktoré sa pozeráme, nemusia byť vždy skutočné a môže ísť o deepfaky.

Odborník na umelú inteligenciu však priznáva, že ak sa deepfaky budú týkať napríklad detí alebo iných ohrozených skupín, pôjde o „veľký problém“, na ktorý nemá jednoznačné riešenie. Pomôcť by mali regulácie, hoci „ani tie nebudú fungovať na 100 percent, pretože vôľa škodiť vynaliezavým spôsobom bude v spoločnosti prítomná asi večne“.

Okrem deepfake porna sa črtá aj ďalší problém, ktorý predstavuje virtuálna realita. V Británii už vyšetrujú prvé skupinové znásilnenie vo virtuálnej realite. „Jeho následky sú rovnaké ako v prípade skutočného znásilnenia,“ vraví Zuzana Juráneková.

Odhaduje sa, že nová generácia detí strávi približne 10 rokov zo svojho života vo virtuálnej realite. To sú takmer tri hodiny denne.

Na negatívne následky nových technológií treba reagovať novou legislatívou aj edukáciou, vraví Zuzana Juráneková, hoci priznáva, že to bude náročné, lebo „fake je o dva kroky pred nami“.

„To, čo môže urobiť každý z nás, je eliminovať alebo úplne zastaviť zverejňovanie fotografií na nechránených účtoch, maximálne zvýšiť opatrnosť pri verejnom zverejňovaní svojich fotografií a neustále si aktualizovať bezpečnostné nastavenia a súkromie na svojich účtoch a zariadeniach,“ dodáva Juráneková.