Complex experiment support through the IVIS framework

Abstract

cz davidkostal11@seznam.cz January 2025 1 Abstrakt Datové experimentování je complexní proces, který se skládá z různých kroků jako například sběr dat a vytváření postupu. Z tohoto důvodu jsou potřeba nástroje pro řízení experimentů. Tato diplomová práce je součástí projektu Ex- tremeXP, který si dává za cíl vytvořit moderní a všestraný nástroj pro řízení experimentů. Tento nástroj závisí na systému datového úložiště, který ukládá data z provedených experimentů. Data z experimentů mohou být velká a nemusí mít předem známé schéma.Tato diplomová práce vytváří návrh a implementaci takového systému datového úložiště. Návrh je postaven na sběru požadavků od partnerů a je kladen důraz na škálovatelnost, vysoký výkon a sledovatelnost, což dříve nebylo dostatečně adresováno nástroji pro řízení experimentů. Práce obsahuje výběr optimální databáze a návrh přístupové vrstvy k datům, včetně návrhu API. Návrh API byl vytvářen tak, aby bylo umožněno efektivní dota- zování, a zároveň aby API nebylo příliš rozsáhlé. Jako optimální metoda pro nasazení byl vybrán Docker. 1

en davidkostal11@seznam.cz January 2025 1 Abstract Data experimentation is complex and consists of multiple steps, such as data gathering and workflow design. Because of this, an experiment management framework is needed. This thesis is part of the ExtremeXP project, which aims to implement a modern and versatile experiment management framework. The framework relies on a data storage system to store data from the experiments, which are often big and of various types and do not have a fixed schema. This thesis designs and implements such a data storage system based on partners' requirements with a focus on scalability, high performance, and traceability, which was previously not sufficiently addressed by experimentation management frameworks. This includes selecting the optimal database and proposing a data access layer with an API, which enables efficient querying of stored data yet is not too broad. Docker was chosen as the optimal deployment method. 1