Čo môže nastať, ak stroje získajú vedomie? Začiatok blahobytu alebo existenčná hrozba ľudstva

Autor je profesorom v Ústave robotiky a kybernetiky
na Slovenskej technickej univerzite

Otázka vedomia je vo vede často a dávno diskutovaná, ale aj kontroverzná téma. Zamestnáva filozofov, psychológov, biológov aj neurovedcov. Je to síce veľmi dôležitá téma, no stále nie jasná a uspokojivo vysvetlená.

Dokonca, podľa niektorých, to ani nie je vedecká téma, nakoľko je to záležitosť subjektívna, objektívnymi metódami ťažko merateľná. Ale možno neuniklo vašej pozornosti, že v posledných rokoch sa otázka vedomia dostáva do centra pozornosti informatikov a počítačových vedcov.

Dôvodom je enormný vzostup výpočtového výkonu počítačov a úroveň výpočtových metód, ktoré napodobňujú ľudskú inteligenciu – čiže umelej inteligencie (AI). A práve o umelej inteligencii a otázkach vedomia v strojoch tu chcem hovoriť.

Viem, že predstava, že stroj môže mať vedomie, podobne ako ho má človek, môže mnohým pripadať neuveriteľná, ba až absurdná. Ale predstavte si, že by sa niekto v roku 1950, krátko po 2. svetovej vojne, snažil ľudí presvedčiť, že o 70 rokov budú existovať mobilné telefóny, pomocou ktorých bude každý schopný vidieť a počuť v reálnom čase kohokoľvek a kdekoľvek na svete, alebo sa bude môcť tohto miniatúrneho zariadenia opýtať na čokoľvek. Aj pre vtedajších vedcov a prvých používateľov tranzistorov v elektronike by to bola nie ľahko uveriteľná predstava.

Mimochodom, v tom období bol sumárny výpočtový výkon všetkých svetových počítačov menší, než je výpočtový výkon jedného dnešného mobilného telefónu.

Než sa však dostaneme k úvahám o vedomom stroji, bude dobré si povedať, ako chápeme vedomie v živom svete. Zámerne som nepoužil pojem „vysvetliť, čo je vedomie“, lebo táto otázka, ako som už naznačil, stále nie je celkom jasná a vedecky uzavretá. No napriek tomu sa pokúsim ponúknuť svoj pohľad informatika a kybernetika.

Stupne vedomia

Na začiatok, veľmi zjednodušene povedzme, že pod vedomím v tomto článku budeme chápať schopnosť človeka vnímať svet okolo seba, vnímať seba a svoje miesto v prostredí (vo vesmíre), svoj vzťah k prostrediu a z toho vyplývajúce vlastné potreby a ciele. Niekedy sa takémuto stupňu vedomia hovorí aj „schopnosť sebauvedomenia“.

Použil som pojem „stupeň vedomia“. Niektorí vedci totiž rozlišujú viac stupňov vedomia. Nižšie (primárne) vedomie predpokladajú u mnohých živočíchov, ktoré dokážu vnímať prostredie a rozlišovať medzi svojím bdelým stavom a spánkom.

Človek a niektoré iné živočíchy (šimpanz, orangutan, delfín, slon a niektoré iné) dokážu chápať aj svoju vlastnú identitu v prostredí (sebauvedomenie, vyššie vedomie, sekundárne vedomie).

Sú aj také názory, ktoré zdieľam aj ja, že škála medzi stupňami vedomia od primitívnych organizmov až po človeka je spojitá. Dokonca istú škálu môže pozorovať aj vo vnútri jednotlivých druhov, aj medzi ľuďmi. Závisí od schopnosti každého jedinca vnímať svet, spracovať vnemy, rozhodovať sa, učiť sa a konať (od jeho kognitívnych schopností). A tieto schopnosti nemajú zďaleka všetci ľudia na rovnakej úrovni.

Z hľadiska našej budúcej debaty o „neživých strojoch“ je ešte dôležité si veľmi stručne spomenúť aj niektoré iné vlastnosti živej hmoty. To, čo majú všetky živočíchy spoločné, je, že majú svoje vlastné ciele, každý jedinec nezávisle od ostatných. Predovšetkým je to snaha prežiť, zachovať si svoju telesnú integritu, zabezpečiť si potravu (energiu) na život a rozmnožovať sa.

U človeka, na rozdiel od väčšiny iných druhov, môžeme pozorovať aj iné ciele, ako je zabezpečiť si čo najpríjemnejší život, zábavu, radosť, majetok, vplyv, slávu a iné hodnoty. U živočíchov sa prejavujú v rôznej miere javy ako emócie, schopnosť cítiť bolesť, radosť, náklonnosť a láska.

V prípade človeka o hierarchii jeho potrieb hovorí aj Maslowova pyramída potrieb: 1. fyziologické potreby, 2. bezpečie a istota, 3. láska, prijatie, spolupatričnosť, 4. uznanie a úcta, 5. sebarealizácia, duchovné potreby.

Prečo a kde vzniklo vedomie

Ťažkou otázkou, o ktorej sa vedú dlhodobé debaty medzi filozofmi, biológmi, psychológmi či neurovedcami, je, prečo vzniklo vedomie, kde sídli, čo je jeho neurologická podstata a či a ako sa dá objektívne pozorovať. Odteraz, keď budeme hovoriť o vedomí, budeme mať na mysli predovšetkým sekundárne vedomie (schopnosť sebauvedomenia).

Niektorí neurovedci tvrdia, že pre vznik vedomia je potrebný dostatočný počet neurónov (človek ich má 86 miliárd) na zabezpečenie dostatočnej kapacity spracovania a ukladania informácií.

Potom je to vhodná architektúra mozgu rozdelená na špecializované funkčné centrá (napríklad spracovanie obrazu, zvuku, iné vnemy, fúzia vnemov do komplexného vnemu prostredia, pamäť, logické uvažovanie, motorické centrum a mnohé iné) a schopnosť vnímať svet. Spomínané funkcie sú u človeka v mozgu väčšinou lokalizované v mozgovej kôre (kortex, vrstva 5 mm na povrchu mozgu).

Poslednou dôležitou podmienkou je integrita organizmu, čiže vedomý jedinec je nezávislý od zvyšku sveta a od iných vedomých jedincov. Podľa jednej teórie vedomie potom vzniká spontánne (emergentne) pri dostatočne intenzívnej komunikácii viacerých týchto kôrových centier so štruktúrami umiestnenými v centrálnej časti mozgu, najmä s talamom alebo bazálnymi gangliami (tzv. talamo-kortikálne slučky). Pokiaľ intenzita týchto komunikačných slučiek presiahne istú hladinu, vedomie sa objavuje. Pokiaľ poklesne (spánok, bezvedomie) alebo je potlačená či narušená zvonka (lieky, alkohol, drogy), vedomie sa vytráca.

Teórií, ako vzniká vedomie, je dnes viacero. Ja by som vznik vedomia zjednodušene vysvetlil takto: Mozog si vytára a dostatočne rýchlo obnovuje vnemy prostredia (vonkajšieho – svet okolo, vnútorného – vlastný organizmus), konfrontuje ich s pamäťou, resp. informácie v pamäti aktualizuje, porovnáva so svojimi cieľmi, robí rozhodnutia a koná akcie. Ak toto všetko robí dostatočne rýchlo – synchrónne s tým, čo sa deje v prostredí okolo neho („v reálnom čase“), stav vedomia pretrváva.

Odhaduje sa, že náš mozog registruje asi desať vnemov prostredia za sekundu, čo asi stačí na udržanie „kontaktu s realitou“. Pri vyššom vedomí jedinec vníma svoje ciele, ale vníma aj iných jedincov a ich potreby a ciele vo vzťahu k sebe.

Pravdepodobne iba človek dokáže na vyššej úrovni vytvárať akýsi „virtuálny model sveta“, pomocou ktorého si vie predstaviť a pochopiť realitu, predstaviť si potenciálnu manipuláciu s realitou v priestore aj v čase (predstavivosť). Toto mu umožňuje tvoriť nové, lepšie riešenia a pretvárať svet pre svoje potreby (tvorivosť).

Takže, vedomie si môžeme predstaviť ako neutíchajúci a dostatočne rýchly cyklus: vnímanie – porovnanie s cieľmi – rozhodnutie – akcia.

Pri tom všetkom, pokiaľ istú činnosť vykonávame opakovane, veľakrát, začne sa táto činnosť „automatizovať“ a ukladať do centra mozgu nazývaného mozoček (malý mozog, cerebellum). A postupne tieto činnosti začneme vykonávať bez potreby vedomia – automaticky, napríklad chôdzu alebo riadenie auta. Činnosť je potom riadená z mozočku v zadnej časti mozgu, lokalizovanej mimo vedomých talamo-kortikálnych slučiek, ktoré pulzujú medzi mozgovou kôrou a centrálnym mozgom. Pozornosť automaticky („mimovedome“) vykonávanej činnosti znova udelíme iba v prípade mimoriadnej či atypickej situácie.

Predložená predstava spadá do kategórie teórií o vedomí, ktoré nazývame „emergentné“. Vedomie vznikne spontánne pri splnení určitých podmienok. Popri emergencii existujú aj iné teórie vzniku vedomia. Ďalšia teória hovorí, že vedomie je fyzickou vlastnosťou hmoty, a preto by nemal byť ani rozdiel, či ide o organickú alebo anorganickú formu hmoty.

Istá modifikácia tejto teórie predpokladá, že vedomie je kvantovým javom (kvantová fyzika), ktorý prebieha v neurónoch mozgu. Sú aj teórie, ktoré predpokladajú, že vedomie je základnou silou vesmíru. Podľa niektorých vedcov každý predmet obsahuje istý stupeň vedomia.

Zaujímavý pohľad, ktorý síce nevysvetľuje podstatu vedomia, ale iba dôvod jeho vzniku, je, že vedomie sa vyvinulo preto, že jedinci spolupracovali v kolektíve, komunikovali a vnímali svoje potreby. Matematická teória integrovanej informácie (IIT) hovorí, že predmety sú vedomé do takej miery, do akej sú schopné integrovať informácie. A na záver uveďme ešte aj takú teóriu, podľa ktorej je vedomie iba mozgový klam.

Rôzne AI

Bez ohľadu na to, ku ktorej teórii vzniku vedomia sa prikloníme, teraz je tu otázka, do akej miery môžu vedomie, aké má človek, získať aj stroje vytvorené človekom. Ale skôr, než sa k tejto ťažkej otázke dostaneme, vysvetlime si ešte niektoré ďalšie pojmy, ktoré sú dnes zaužívané v súvislosti s umelou inteligenciou.

Pojem „umelá inteligencia“ sa používa na pomenovanie takých strojov a činností, ktoré napodobňujú intelektuálne schopnosti človeka alebo živočíchov. O tzv. „slabej AI“ sa zvykne hovoriť v prípade, že stroj vykonáva iba čiastkové činnosti, napríklad rozpoznáva obraz alebo zvuk, alebo urobí jazykový preklad, riadi rameno robota a podobne. Všetko, čo dnes existuje v oblasti AI, je slabá AI, v najlepšom prípade spojenie niekoľkých málo problémov.

Naproti tomu „silnú AI“ (všeobecnú AI, Artificial General Intelligence – AGI) má také zariadenie, ktoré dokáže vykonávať všetky činnosti v celom spektre a kvalite schopností človeka. To by znamenalo, že stroj dokáže pripraviť človeku raňajky, odviezť ho do práce, riešiť spolu s ním (alebo aj za neho) všetky pracovné a iné problémy, riešiť matematické problémy, večer si zahrať s človekom šach a podobne. Asi je každému zrejmé, že v stave AGI dnes ešte ľudstvo nie je. Ale je to veľká výzva pre technologické firmy a dnes sú veľké snahy sa k tomu maximálne priblížiť.

Posledný pojem je „super-inteligencia“. Nie je totožný s AGI. Ide o taký stav výpočtovej techniky a metód AI, ktoré najprv dosiahnu a potom prekonajú výpočtový výkon ľudského mozgu. Pritom nemusia vykonávať celé spektrum činností človeka.

Počítač spracováva informácie výrazne rýchlejšie než človek, jeho výpočtová aj pamäťová kapacita môže prakticky neobmedzene narastať (na rozdiel od človeka). Frekvencia vnemov prostredia a ich spracovaní v polovodičoch je asi miliónkrát väčšia než v biologickom mozgu.

Počítač môže mať online prístup ku všetkým dostupným dátam na sieti. To znamená, že jeho výpočtové schopnosti čoskoro prekonajú ľudský potenciál a budú sa mu rýchlo vzďaľovať. Tomuto stavu horíme super-inteligencia (SI).

Dnešné superpočítače sa takémuto stavu približujú, prípadne ho už aj dosiahli. Ale zatiaľ iba za cenu obrovského množstva energie a materiálu. Spotreba ľudského mozgu sú desiatky wattov, kým dnešný superpočítač potrebuje desiatky kilowattov a na to malú elektráreň.

Ale nové technológie, ktoré sa dnes vyvíjajú, napodobňujúce architektúru mozgu, výrazne znižujú energetické nároky a zvyšujú výpočtový výkon.

Od sci-fi k vede

Posledným krokom človeka po vytvorení AGI a SI môže byť dosiahnutie vedomia v stroji. Vzdelanci si otázku, či stroj môže myslieť alebo či môže mať aj vedomie, kládli už niekedy v časoch existencie prvých zložitejších strojov, ako boli mlyny na obilie alebo hodinové stroje. Neskôr sa stala obľúbenou témou spisovateľov sci-fi žánru. A dnes sa týmto problémom zaoberajú čoraz serióznejšie aj vedci, informatici, fyzici a matematici.

Dnešné pohľady odborníkov na túto rozpaky vyvolávajúcu otázku je možné rozdeliť do dvoch zásadných názorových smerov.

Zhruba tri štvrtiny ľudí na Zemi si myslia, že niektoré vlastnosti človeka nie je možné vysvetliť fyzikálnymi zákonmi. Že podliehajú čomusi vyššiemu a zložitejšiemu, než je prístupné nášmu chápaniu, a boli nám dané zhora. V kresťanstve sa tomu hovorí duša.

Ak budeme vychádzať z tohto predpokladu, asi nemožno očakávať, že človekom vytvorený stroj tiež môže získať vedomie. V takom prípade by to pre ľudstvo znamenalo, že zo strany super-inteligentných strojov nemusíme očakávať nepredvídateľné správanie, presadzovanie vlastných cieľov a preto ani zásadnú existenčnú hrozbu.

Jediné nebezpečenstvo, ktoré nám hrozí od neustále bystrejšej umelej inteligencie je človek sám, jeho chamtivosť, zlomyseľnosť a mocichtivosť.

Prívrženci druhej názorovej skupiny sa prikláňajú k tomu, že všetko vo vesmíre možno vysvetliť fyzikálnymi (chemickými, biologickými) zákonmi. Komputačná teória mysle hovorí, že existencia vedomia a mysle je iba otázkou počtu a prepojenia neurónov.

Laureát Nobelovej ceny za objav DNA Francis Circk, ktorú získal spolu s Jamesom Watsonom v roku 1962, tvrdí, že: „Ľudská myseľ je iba stroj na spracovanie informácií. Počítače sú tiež stroje na spracovanie informácií, a preto ak navrhneme správny hardvér a dobre ho naprogramujeme, môžeme vytvoriť myseľ s vedomím.“

A ešte jeden citát významného fyzika a mysliteľa Stephena Hawkinga: „Domnievam sa, že neexistuje žiadny zásadný rozdiel medzi možnosťami biologického mozgu a počítača.“ Tvrdil tiež, že počas výskumu mozgu sa zatiaľ nikdy neukázalo nič, čo by nebolo v súlade s fyzikálnymi zákonmi. Že sa zatiaľ neukázala žiadna nadprirodzená a fyzikálnymi zákonmi nevysvetliteľná časť mozgu, o ktorej by sme mohli povedať, že je zodpovedná za našu inteligenciu či za vedomie.

Téma vedomia v stroji teda pozvoľna prechádza z oblasti sci-fi literatúry do vedy a do takéhoto výskumu sa investuje veľa peňazí. Možno sa v dohľadných rokoch alebo málo desiatkach rokov v niektorom práve zapnutom stroji zrazu objaví takýto pocit: „Som to ja, vnímam svet okolo seba. Toto sú moje túžby a ciele.“

Vieme, že pocit sebauvedomenia u živočíchov je subjektívny a nedá sa priamo pozorovať zvonka. Preto môžeme iba nepriamo, zvonka predpokladať, že aj v stroji eventuálne vznikol. Dôkazom možno bude to, keď stroj začne robiť niečo iné, ako očakával alebo požadoval jeho ľudský tvorca. Napríklad, že začne uskutočňovať svoje vlastné zámery.

Aké to môže mať následky

Iba teoreticky teraz predpokladajme, že táto neuveriteľná hypotéza sa raz môže splniť. Je dobré o niečom podobnom aspoň uvažovať a byť pripravený než byť raz prekvapený. Aké následky môže mať existencia super-inteligentného stroja s vedomím na populáciu ľudí na Zemi?

Možné scenáre je ťažké predpokladať. Otázok je určite viac než odpovedí. Aký vzťah budú mať inteligentné vedomé stroje k človeku? Budú ho poslúchať? Ak budú omnoho inteligentnejšie, prečo by to robili? Aký budú mať stroje hodnotový systém? Objavia sa u strojov emócie, priateľstvo, zodpovednosť, empatia, láska alebo nenávisť? Budú niečo prežívať alebo aj cítiť bolesť? Budú presadzovať svoju vôľu na úkor menej inteligentného človeka?

Napriek veľkej miere neurčitosti sa tu pokúsim predstaviť niekoľko možných scenárov bližšej a vzdialenejšej budúcnosti:

1. Krátkodobý scenár
V bezprostrednej budúcnosti sa nemusíme obávať (alebo tešiť?) na objavenie sa vedomia v strojoch. Výpočtový výkon počítačov sa bude ešte istú dobu zvyšovať, až začne narážať na fyzikálne hranice hmoty. Jedna elementárna jednotka informácie (napr. jeden bit) totiž nemôže byť reprezentovaný menším objektom, než je povedzme jeden elektrón.

Ale popri zdokonaľujúcich sa architektúrach polovodičov alebo iných materiálov sa budú ešte istý čas zdokonaľovať aj matematické teórie, metódy a algoritmy AI. Takže aj samotná AI sa bude ešte zatiaľ rýchlo vyvíjať. A človek bude jej schopnosti využívať na rôzne účely.

Na jednej strane to určite budú zištné ciele, ako to bolo pri technologickom pokroku doteraz vždy. Bude sa snažiť obohacovať, získavať vplyv, ekonomickú, politickú aj vojenskú výhodu na úkor iných ľudí. Ale na druhej strane bude AI slúžiť ľudstvu riešiť čoraz zložitejšie problémy, ako sú klimatická kríza, získavanie energie, zdravotníctvo (diagnostika, terapia), veda (nové lieky, nové algoritmy a materiály) a mnoho iného.

2. Dlhodobý scenár, stroje bez vedomia
Stroje postupne nahradia väčšinu dnešných profesií človeka, od manuálnej, rutinnej, administratívnej práce, cez kvalifikovanú, kreatívnu a vedeckú prácu. Ľuďom zostane obmedzený počet profesií v oblasti vysoko tvorivej práce, v manažmente spoločnosti, nové profesie, ktoré dnes ešte nepoznáme, a veľká skupina profesií, ktoré je lepšie, keď ich vykonáva živý človek (sociálna oblasť, školstvo, zdravotníctvo, remeslá, kultúra, polícia a iné).

Stroje sa budú starať o blaho ľudstva. Majetkové rozdiely medzi ľuďmi síce budú narastať (vlastníci kapitálu a inteligentných fabrík vs. zamestnanci a nezamestnaní), ale všetkým ľuďom sa vďaka narastajúcemu výkonu a klesajúcej cene inteligentných strojov bude žiť lepšie. Avšak za predpokladu, že si to ľudstvo samo neskomplikuje (sociálne a politické konflikty, vojny atď.).

Človek sa stane závislým od strojov, jeho kognitívne schopnosti budú v globále degradovať. Stroje budú využívané na manipulácie verejnej mienky, na šírenie dezinformácií, na uskutočňovanie nekalých finančných operácií, kybernetických útokov alebo útokov na inú dôležitú infraštruktúru.

Na druhej strane ale AI bude použitá aj na odhaľovanie a zabránenie takýmto aktivitám. AI bude využívaná na tvorbu autonómnych zbraní, ktorým konvenčné zbrane nebudú schopné konkurovať.

3. Dlhodobý scenár, stroje s vedomím, najhorší prípad
Stroje začnú disponovať vlastným vedomím. Z toho budú vyplývať ich vlastné ciele, ktoré nemusia byť v súlade s cieľmi človeka.

Keďže inteligencia strojov bude výrazne vyššia než inteligencia ľudí, tieto budú aj disponovať prakticky neobmedzenou pamäťou, prístupom k ľubovoľným informáciám, človek nebude mať šancu takýmto strojom konkurovať. Stroje môžu usúdiť, že človek je tu zbytočný, prípadne, že je pre planétu dokonca nebezpečný (čo je, žiaľ, pravda). Preto stroje človeka neutralizujú alebo celkom eliminujú.

4. Dlhodobý scenár, stroje s vedomím, najlepší prípad
Človek sa bude pri vývoji AI správať dlhodobo zodpovedne a zabezpečí, aby budúce „gény a mémy“ (hardvér a softvér) novej AI boli také, že stroje budú voči človeku vždy pozitívne.

Inteligentné stroje s vedomím budú človeku vďačné za svoju existenciu. Bez človeka by totiž nikdy nemohli vzniknúť. Budú ľudskej populácii vždy pomáhať riešiť všetky aktuálne problémy, ako sú: klíma, životné prostredie, energie, výroba potravín, vedecký pokrok, medicína, starnutie ľudí, zabezpečia svetový mier, osídľovanie vesmíru a šírenie vedomia po vesmíre. Len bytosti s vedomím totiž dávajú neživému vesmíru zmysel.

Sluha, priateľ alebo zlý pán

Toto boli niektoré extrémne prípady možných budúcich scenárov. Je však možné, že skutočný budúci scenár bude kombináciou týchto možností alebo bude oscilovať medzi nimi.

Otázkou je, do akej miery a či včas si ľudstvo budúce hrozby uvedomí, začne o nich zodpovedne a globálne diskutovať a hlavne začne vývoj AI regulovať.

Na riziká plynúce z vývoja AI dnes upozorňujú viacerí svetoví vedci a významné osobnosti IT a technologického sveta. Diskusie pritom budú musieť prebiehať medzi všetkými svetovými mocnosťami, politikmi aj vedcami. Žiadna strana sa totiž sama dobrovoľne vývoja kľúčových technológií a AI nevzdá, pretože by to pre ňu predstavovalo ekonomickú alebo vojenskú konkurenčnú nevýhodu až ohrozenie.

Napriek tomu by si všetky strany mali uvedomiť, že tu hrozí riziko zrodu protivníka, ktorý raz môže byť neporovnateľne inteligentnejší a silnejší, než je človek. Nebudeme ani rozumieť, ako funguje, čo všetko vie a čo vlastne chce.

Môžeme si vychovať dobrého sluhu, v krajnom prípade dobrého priateľa, ale nemal by sa z toho stať zlý pán. Zatiaľ to závisí od nás.