Cooperation with Unknown Agents in Multi-agent Environment

Abstract

Over the past few decades, we have witnessed great successes in the field of deep and reinforcement learning. Great achievements have been made in many competitive settings, both in single-agent and multi-agent environments, where AI has managed to outperform human experts and even entire teams of human experts. However, the situation is much more difficult when cooperation is required in purely cooperative environments. We first give a brief overview of reinforcement learning theory and current state of the art algorithms. We then extend the theory to multi-agent systems, where several related issues are discussed. And finally, we propose novel approaches of agent training where we use a simplified multi-agent cooperative cooking game environment based on the popular game Overcooked, we attempt to train agents that are robust and capable of ad hoc agent cooperation.

V posledních několika desetiletích jsme byli svědky velkých úspěchů v oblasti hlubokého a zpětnovazebního učení. Velkých úspěchů bylo dosaženo v mnoha kompetitivních prostředích, a to jak v prostředí s jedním agentem, tak i v multiagentním prostředí, kde umělá inteligence dokázala překonat celé týmy lidských expertů. Situace se však zdá být mnohem obtížnější, pokud jsou multiagentní prostředí čistě kooperativní. V práci nejprve uvedeme stručný přehled teorie zpětnovazebního učení a současných populárních algoritmů. Poté teorii rozšíříme na multiagentní systémy kde se budeme zabývat problémy, které jsou s nimi spjaté. A nakonec navrhneme nové přístupy trénování agentů, kde se pomocí zjednodušeného prostředí kooperativní hry s více agenty založené na populární hře Overcooked pokusíme trénovat agenty, kteří jsou robustní a schopní spolupráce s neznámými agenty.