Denník N

Slováci publikovali v prestížnom časopise Science, dosiahli pokrok vo vývoji umelej inteligencie

Zľava: Matej Moravčík, Martin Schmid a Michael Bowling. Foto – John Ulan/Albertská univerzita
Zľava: Matej Moravčík, Martin Schmid a Michael Bowling. Foto – John Ulan/Albertská univerzita

DeepStack je prvým počítačovým programom, ktorý porazil profesionálnych hráčov v dvojhráčovom no-limit Texas hold’em pokeri.

Slovenskí vedci dosiahli výrazný míľnik vo vývoji umelej inteligencie.

Vyvinuli program DeepStack, ktorý na konci minulého roka porazil profesionálnych hráčov v populárnej kartovej hre, dvojhráčovom no-limit Texas hold’em pokeri.

Zvláštnosť pokeru spočíva v tom, že ide o hru s „neúplnými informáciami, v ktorej hráči nemajú rovnaké údaje o hre“, povedal pre Denník N spoluautor štúdie Matej Moravčík z Matematicko-fyzikálnej fakulty Univerzity Karlovej a z Albertskej univerzity v Kanade.

„Uvedená vlastnosť robí hru z teoretického hľadiska oveľa zložitejšou ako šach alebo go. V hre typicky neexistujú konkrétne optimálne ťahy, ale hráči musia náhodne vyberať niekoľko akcií s presne danou pravdepodobnosťou,“ dodal slovenský vedec.

Viac situácií než počet atómov vo vesmíre

Slovák Viliam Lisý, ktorý pôsobí na Albertskej univerzite a ČVUT v Prahe a bol spoluautorom štúdie, povedal, že „schopnosť uvažovať o jednotlivých pokerových situáciách až vo chvíli, keď nastanú, je kľúčová pre zložité hry, ako je no-limit Texas hold’em, v ktorých môže nastať viac rôznych situácií, než je počet atómov vo vesmíre“.

DeepStack hrá rýchlejšie ako ľudia: v priemere potrebuje iba tri sekundy výpočtov na to, aby sa rozhodol, aký ťah spraví.

Článok o programe DeepStack vyšiel začiatkom marca v prestížnom časopise Science.

Pre orientáciu, Science je spolu s magazínom Nature vo vede to, čo je vo futbale Messi a Ronaldo. Môžeme sa baviť, ktorý z nich je lepší, ale to, že ide o absolútnu svetovú špičku, je isté.

Ani v živote nemáme všetky informácie

O hrách, ktoré narábajú s neúplnými informáciami, uvažoval pred niekoľkými desaťročiami matematik a počítačový vedec John von Neumann († 1957). „V skutočnom živote nemáme k dispozícii úplné informácie. V skutočnom živote je aj podvádzanie a stretávame sa v ňom s taktikami spojenými s klamaním,“ citujú von Neumanna v štúdii.

Von Neumann sa zaujímal o poker, lebo ide o hru, ktorá simuluje reálny život v tom zmysle, že obsahuje prvky podvádzania, klamania a aktéri v nej nedisponujú úplnými a totožnými informáciami.

Professor Michael Bowling of the University of Alberta Department of Computing Science and the Computer Poker Research Group, on January 13, 2017. Credit: John Ulan
Výskumný tím Michaela Bowlinga (v strede v saku) na Albertskej univerzite v Kanade. Martin Schmid (vľavo dole), Matej Moravčík (vpravo dole), za ním Viliam Lisý. Foto – John Ulan/Albertská univerzita

„V reálnych situáciách sa jednotlivé strany len veľmi zriedka rozhodujú podľa úplných a totožných informácií. Preto je pokrok v riešení hier s neúplnými informáciami zásadný pre praktické aplikácie,“ povedal v správe Michael Bowling z Albertskej univerzity, ktorý výskumný tím viedol.

Matematické modely hier s neúplnými informáciami umožňujú opísať situácie napríklad z ekonómie, sieťovej bezpečnosti alebo ochrany dôležitých cieľov.

Skupina Michaela Bowlinga na Albertskej univerzite je jednou zo svetovo najvýznamnejších výskumných skupín v oblasti výpočtovej teórie hier, vysvetlil pre Denník N Lisý dôvody, prečo s kolegami prijal ponuku pracovať v zámorí.

Hlboké neurónové siete

DeepStack vyhodnocoval vhodnú stratégiu pre ťah až vo chvíli, keď herná situácia nastala, a neuvažoval o celej hre vopred, čo bol prístup, ktorý v počítačovej vede prevládal doteraz.

Autori využili pokrok v strojovom učení pomocou hlbokých neurónových sietí. „Výraz ‚neurónový‘ vychádza z inšpirácie ľudským mozgom. Matematický model je zložený z veľkého počtu jednoduchých výpočtových jednotiek – neurónov, ktorých vstupy a výstupy sú v počítačovej simulácii prepojené do siete. Tieto jednotky sa často sústreďujú to vrstiev. Slovo ‚hlboké‘ v názve znamená, že týchto vrstiev je viac,“ vysvetlil Lisý.

Ako intuícia

Spoluautor štúdie, Čech Martin Schmid, ktorý pôsobí na Matematicko-fyzikálnej fakulte Univerzity Karlovej a Albertskej univerzite, pre Denník N povedal, že stav, keď DeepStack vyhodnocuje jednotlivé pokerové situácie, sa dá prirovnať k tomu, ako ľudia používajú intuíciu.

„Intuícia je dobrá analógia, pretože pri učení použité siete videli len veľmi malý zlomok situácií, ktoré potrebuje DeepStack pri hre vyhodnotiť. Sieť naučenú informáciu zovšeobecní a použije na odhad hodnôt v neznámych situáciách,“ dodal Schmid.

Vedci rozprávajú o programe DeepStack, ktorý porazil pokerových hráčov. Zdroj – YouTube

DeepStack hral proti tridsiatim pokerovým hráčom z celého sveta. Každého z jedenástich hráčov, ktorí za štyri súťažné dni odohrali plný počet 3-tisíc hier, porazil, iba v jedinom prípade nebola výhra štatisticky významná.

DeepStack je vôbec prvým počítačovým programom, ktorý porazil profesionálnych hráčov v dvojhráčovom no-limit Texas hold’em pokeri.

Lisý nám vysvetlil, že názov programu má symbolický význam a odkazuje na tri veci. „Prvou je použitie hlbokých neurónových sietí v programe. Druhou je slávny program DeepBlue, ktorý pre nás bol významnou inšpiráciou. Posledný odkaz sa týka takzvaného ‚deep stacku‘ v pokeri, ktorý náš program dokáže hrať.“

Dostupné z: DOI: 10.1126/science.aam6960

Technológie

Veda

Teraz najčítanejšie