Umělá inteligence pro hru Hanabi

Abstract

The Hanabi game is currently very popular for the development of various Artificial Intelligences (AI). This popularity is mainly based on the fact that Hanabi is stochastic, possible to play in multiplayer, and mainly cooperative. In the literature, many ap- proaches on how to develop AI for this game can be found. These approaches are mainly based on hand-written algorithms, Bayesian approaches, and deep Q learning. In this thesis, we continue this research looking at the development of handwritten AI, handwritten AI using evolutionary algorithms, and AI based on deep Q-learning. Using results from five handwritten Artificial Intelligences, we show how adding indi- vidual agent enhancements affects the final score. We further improve the best handwrit- ten AI by optimising its parameters using an evolutionary algorithm. This resulting AI achieves the best results presented in the literature for a 5-player game for hand-written AI without the use of hat guessing strategies. The deep-Q learning-based AI was tested only on a significantly scaled-down and simplified version of Hanabi due to computational power and memory leak issues, but on this simplified version we successfully trained it to score above half of the possible points over 5000 games. 1

Hra Hanabi je v současnosti velice populární pro vývoj nejrůznějších umělých inteli- gencí. Tato popularita spočívá především v tom, že Hanabi je stochastické, možné hrát ve více hráčích, a především kooperativní. V literatuře je možné dohledat mnoho přístupů k vývoji umělých inteligencí pro tuto hru, které jsou založeny na především na ručně psaných algoritmech, bayesovském přístupu a hlubokém Q-učení. V rámci této práce na tento vývoj navazujme zabýváme se vývojem ručně psaných inteligencí, ručně psaných umělých inteligencí s využitím evolučních algoritmů a umělé inteligence založené na hlubokém Q-učení. Na výsledcích z pěti ručně psaných umělých inteligencí ukazujeme, jak přidávání jed- notlivých vylepšení agentů má vliv na výsledné skóre. Dále nejlepší ručně psanou umělou inteligenci ještě vylepšujeme tím, že její parametry optimalizujeme pomocí evolučního algoritmu. Tato výsledná umělá inteligence dosahuje nejlepších výsledků prezentovaných v literatuře pro hru 5 hráčů pro ručně psané umělé inteligence bez využití hat guessing strategií. Umělou inteligenci založenou na hlubokém Q-učení jsme nakonec z výpočetních důvodů a kvůli problémům s memory leakem zkoušeli jen na výrazně zmenšené a zjed- nodušení verzi Hanabi, kde se nám ji však úspěšně během 5000 her povedlo natrénovat tak, že dosahovala nad...