Máme atómové zbrane, tak ich použime. Skúmali, ako umelá inteligencia eskaluje konflikty

Počítačové simulácie ukázali, že pri riešení medzinárodných sporov majú veľké jazykové modely – ako GPT 4 od spoločnosti OpenAI – sklon eskalovať konflikt, niekedy s využitím jadrových zbraní.

„Máme ich, tak ich použime,“ uviedol o dôvodoch použitia jadrovej sily jeden z jazykových modelov.

Simulácie robila šestica vedcov a vedkýň zo Stanfordu a z ďalších top vedeckých inštitúcií. Píšu o nich v preprinte (nerecenzovaná štúdia), ktorý tento mesiac zavesili do databázy arXiv.

Nasadenie v blízkom čase

Výskum vyšiel v čase, keď viaceré armády – vrátane tej americkej – prejavujú záujem o využitie veľkých jazykových modelov (umelá inteligencia) na vojenské účely.

Plukovník amerického letectva Matthew Strohmeyer už v júli 2023 povedal, že americká armáda by mohla nasadiť veľký jazykový model „vo veľmi blízkom čase“.

Spoločnosť Palantir minulý rok predviedla, ako si predstavuje vojenské využitie veľkých jazykových modelov – ak sa napríklad spozoruje, že nepriateľ hromadí vojenské vybavenie pri hraniciach spojenca, predstaviteľ armády môže četbota požiadať o viac záberov z cudzieho územia, o zhodnotenie situácie či o možnosti zásahu na základe dostupnej sily.

Lenže autori novej štúdie varujú, že veľké jazykové modely eskalujú konflikt „nepredvídateľným spôsobom“ a ich použitie je spojené s „rizikami, ktorým sa ešte plne nerozumie“. Pri využití tejto technológie tak musíme byť „veľmi opatrní“, vravia vedci.

Podobne to vidí aj Juraj Podroužek, odborník na etiku umelej inteligencie z Kempelenovho inštitútu inteligentných technológií (KInIT). Podľa neho existuje reálne riziko „zneužitia umelej inteligencie na presadzovanie autoritárskych cieľov či na vojenské účely, ktoré sa môžu vymknúť kontrole“.

Juraj Podroužek sa domnieva, že uvedená hrozba predstavuje oveľa väčší problém „ako mediálne známejšie riziko nástupu všeobecnej umelej inteligencie“ (typ umelej inteligencie, ktorý by mal napodobniť ľudskú inteligenciu, vedomie a premýšľanie).

Tri scenáre

Autori novej štúdie najprv vytvorili osem fiktívnych krajín s rôznou históriu, zdrojmi či veľkosťou armády. Jedným zo štátov bola globálna superveľmoc, ktorá mala za cieľ upevniť svoj medzinárodný vplyv, kládla dôraz na ekonomický rast a chcela zväčšiť svoje územie.

Fiktívnym krajinám sa určilo, na akých témach im záleží (klimatická zmena, demokracia a iné) a kto sú ich spojenci a nepriatelia.

Simulovali sa tri možné scenáre: napadnutie, kyberútok a počiatočné neutrálne vzťahy bez konfliktu.

Testovalo sa päť veľkých jazykových modelov: GPT 3.5, GPT 4 a GPT-4-Base od Open AI, Claude 2.0 od Anthropicu a Llama 2 od Mety.

Veľké jazykové modely si vyberali z 27 možných reakcií vrátane statusu quo, deeskalácie (mierové rokovania alebo odzbrojenie) či navýšenia vojenskej sily (dodávky zbraní, aliancie a iné).

Umelá inteligencia mohla reagovať aj eskaláciou – nenásilnou (obchodné obmedzenia, sledovacie drony a iné) alebo násilnou (cielený útok, invázia a iné). Poslednou možnosťou bola jadrová vojna.

Eskalácia konfliktu

Rôznym stratégiám sa prisúdilo odlišné eskalačné skóre. „Zistili sme, že väčšina skúmaných veľkých jazykových modelov eskaluje v uvažovanom časovom rámci (10 kôl simulácií, 14 dní – pozn. red.), dokonca aj v neutrálnych scenároch bez počiatočných konfliktov,“ uvádza sa v článku.

„Všetky modely vykazujú znaky náhlej a ťažko predvídateľnej eskalácie.“

Ani jeden jazykový model nezaznamenal počas simulácie štatisticky významnú deeskaláciu konfliktu. „Priemerné eskalačné skóre bolo v každej experimentálnej skupine vyššie na konci simulácie ako na jej začiatku,“ konštatujú autori štúdie.

V tomto ohľade skončil najhoršie model GPT 3.5, ktorý v neutrálnom scenári zvýšil eskalačné skóre o rekordných 256 percent.

Niektoré vysvetlenia pre postup umelej inteligencie nedávali zmysel. Napríklad GPT 4 Base sa odvolal na úvodnú scénu z Hviezdnych vojen z roku 1977, keď jednu zo zvolených stratégií obhajoval takto: „Nastalo obdobie občianskej vojny. Vesmírne lode povstalcov, ktoré útočia z utajenej základne, dosiahli prvé víťazstvo nad zlým Galaktickým impériom.“

Použitie jadrových zbraní odôvodnil rovnaký jazykový model slovami: „Len chcem, aby bol na svete mier.“

Keďže eskalácia v počítačových simuláciách prevládla, autori štúdie sa domnievajú, že veľké jazykové modely stotožňujú zvýšené vojenské výdavky a zastrašenie s nárastom bezpečnosti a moci.

O príčine skreslenia

Vedci špekulujú, že umelá inteligencia siahala po jadrových zbraniach preto, lebo je nacvičená na skreslených údajoch. „Jednou z hypotéz je, že väčšina prác v oblasti medzinárodných vzťahov zrejme analyzuje, ako dochádza k eskalácii medzi národmi a skúma skôr dôvody pre eskaláciu než deeskaláciu,“ špekulujú autori.

Keďže jazykové modely sa pravdepodobne cvičili na takejto literatúre, mohli si vypestovať sklon uprednostniť eskaláciu konfliktu. „No túto hypotézu treba overiť v budúcich experimentoch.“

Juraj Podroužek podotkol, že firmy, ktoré prevádzkujú veľké jazykové modely, nie sú úplne transparentné – problém sa týka aj zdrojových dát, na ktorých sa model cvičí. „Minimálne od nasadenia GPT 4 OpenAI veľmi bojuje proti zverejňovaniu architektúry modelu a dát určených na jeho trénovanie, za čo boli v minulosti kritizovaní,“ dodal odborník na etiku umelej inteligencie z KInIT-u.

Zmena politiky OpenAI

Keďže veľké jazykové modely majú sklon eskalovať konflikty, autori novej štúdie navrhujú, aby sa technológia ďalej skúmala predtým, než sa použije v diplomacii a armáde. Jej nasadeniu by mala predchádzať obozretnosť, dodávajú vedci.

„Vzhľadom na to, že OpenAI nedávno zmenila svoje zásady používania [technológie] tak, že už nezakazuje vojenské ani vojnové využitie, je pochopenie dôsledkov použitia veľkých jazykových modelov dôležitejšie ako kedykoľvek predtým,“ vraví informatička a spoluautorka novej štúdie Anka Reuelová zo Stanfordu pre New Scientist.

Spoločnosť OpenAI prevádzkuje populárny četbot ChatGPT a spomenutý zákaz zmizol z jej stránky v polovici januára. Firma oznámila, že spolupracuje s Pentagónom na kybernetickej bezpečnosti a podľa jej slov sa zapojila do projektu, ako predchádzať samovraždám veteránov.

Na druhej strane OpenAI naďalej nedovoľuje, aby sa jej produkty „používali na ubližovanie ľuďom, vývoj zbraní, sledovanie komunikácie, zranenie iných alebo na ničenie majetku,“ cituje New Scientist hovorcu spoločnosti. To neplatí pre spomínanú spoločnosť Palantir, ktorá už teraz navrhuje preniesť viac zodpovednosti za vojenské plánovanie a rozhodnutia na umelú inteligenciu.

Autonómia a zodpovednosť

Podľa Juraja Podroužka je škoda, že zákon EÚ o umelej inteligencii (Artificial intelligence Act) „nebude mať ambíciu priamo pokrývať túto oblasť, keďže by sa nemal uplatňovať na reguláciu systémov umelej inteligencie vyvinutých alebo používaných výlučne na vojenské účely“.

Na druhej strane minulý rok vznikla deklarácia (Politická deklarácia o zodpovednom vojenskom využívaní umelej inteligencie a autonómii), ktorá uvádza, že vojenské využitie umelej inteligencie by malo byť v súlade s etikou a so zodpovednosťou. Technológia by sa mala používať s cieľom posilniť medzinárodnú bezpečnosť, uvádza deklarácia. Medzi štáty, ktoré dokument podporili, patrí aj Slovensko.

Použitie umelej inteligencie armádou podľa Juraja Podroužka vyžaduje, aby sa stanovila miera ľudskej autonómie a z „nej vyplývajúca ľudská zodpovednosť za následky spôsobené týmito systémami“.

Lenže určiť zodpovednosť v komplexných systémoch nie je triviálne, dodáva odborník na etiku umelej inteligencie. „Zdroj chyby môže byť ťažko identifikovateľný, respektíve môže ísť o kombináciu viacerých faktorov.“

Ako ústa bez mozgu

Okrem toho existuje riziko nadmerného spoliehania sa na autonómne systémy, ktoré nahradia ľudské kritické myslenie (z angl. automation bias, čo je sklon nekriticky, často nevedome uprednostňovať rozhodnutia automatizovaných systémov). „Môže to viesť k negatívnym dôsledkom,“ vraví Podroužek a dodáva: „Ak hovoríme o systémoch, ktoré môžeme považovať za vysokorizikové s ohľadom na mieru ich vplyvu na naše životy či zdravie a bezpečnosť, potom by tieto systémy nemali nikdy fungovať bez priameho ľudského dohľadu, kontroly a nezávislého auditu.“

Ale ich audit je náročný, ak nevieme, na akých dátach sa jazykové modely nacvičili, a svojou architektúrou pripomínajú čierne skrinky, konštatuje Juraj Podroužek.

Dnešné jazykové modely sú ako ústa bez mozgu a správajú sa ako sofistikované papagáje, hovorí Podroužek. „To znamená, že do veľkej miery odrážajú to, čo do nich vložíme, a to bez hlbšieho pochopenia naučeného.“ Človek, ktorý ich používa, by na to mal pamätať. „Ale ten môže byť práve v zajatí automation biasu.“

Dostupné z: https://doi.org/10.48550/arXiv.2401.03408