Predikce délky trvání datového profilování

Abstract

Today, data quality plays a vital role in strategic planning and corporate decision-making processes. The ability to predict the duration of tasks re- lated to data processing and analysis is crucial for efficient use of resources and optimization of work processes. The goal of this work is to extend the functionality of Ataccama ONE, a data management platform of Ataccama, with a new microservice that allows predicting the duration of data profil- ing jobs. Our solution involves identifying the key data characteristics that affect the duration of these jobs and using these insights to prototype a ma- chine learning model to predict job durations. An important part of the solution is also to detect and process newly executed jobs in the platform in real-time and prepare the microservices for future integration into the plat- form. Emphasis is then placed on the quality of the implementation and the extensibility of the solution to predict other types of jobs.

Kvalitní data dnes hrají zásadní roli ve strategickém plánování a rozhodo- vacích procesech firem. Schopnost předpovídat délku trvání úloh spojených s jejich zpracováním a analýzou je klíčová pro efektivní využití zdrojů a opti- malizaci pracovních procesů. Cílem práce je rozšířit funkcionalitu platformy pro správu dat Ataccama ONE společnosti Ataccama o novou mikroservisu umožňující předpovídat délku trvání úloh datového profilování. V řešení se zabýváme identifikací klíčových vlastností dat, které délku trvání úloh ovliv- ňují, a využitím těchto poznatků ke tvorbě prototypu modelu strojového učení, jenž umožní délky trvání úloh predikovat. Součástí řešení je také de- tekce a zpracování úloh v reálném čase a příprava na budoucí integraci řešení do platformy. Důraz je kladen na kvalitu implementace a rozšiřitelnost o možnost predikce dalších typů úloh.