Generative neural networks for sky image outpainting

Abstract

Image outpainting is a task in the area of generative artificial intelligence, where the goal is to expand an image in a feasible way. The goal of this work is to create a machine learning algorithm capable of sky image outpainting by implementing sev- eral recently proposed techniques in the field. We train three models, a tokenizer for converting images to tokens and back, a masked generative transformer for performing outpainting on tokens and a super sampler for upscaling the result, all on a dataset of sky images. Then, we propose a procedure that combines the trained models to solve the outpainting task. We describe the results of training each model and those of the fi- nal algorithm. Our contribution consists mainly in providing a working, open-source implementation including the trained models capable of sky image outpainting. 1

Dokreslování obrázků je úloha z oblasti generativní umělé inteligence, jejímž cílem je co nejrealističtěji rozšířit obrázek. Tato práce se snaží o vytvoření algoritmu využívajícího strojové učení, který bude schopen dokreslovat obrázek oblohy pomocí několika nových postupů z oboru. Natrénujeme tři modely, tokenizer pro převod obrázků na tokeny a zpět, maskovaný generativní transformer (MaskGIT), který je schopen dokreslovat tokeny, a super sampler, který umí zvětšit výsledný obrázek a přidat do něj detaily. Všechny modely natrénujeme čistě na obrázcích oblohy. Poté navrhneme postup, který zkombin- uje natrénované modely k dokreslování obrázků. Nakonec popíšeme výsledky každého z modelů i výsledného algoritmu. Náš přínos je hlavně dodání fungující, open-source im- plementace včetně natrénovaných modelů, která bude schopna řešit úlohu dokreslování obrázků oblohy. 1