Hyperparameter optimization in AutoML systems

Abstract

Zpracování dat se v posledních letech stalo nedílnou součástí mnoha oblastní lidské činnosti. Spolu s tím prudce roste zájem o automatické systémy strojového učení, které využívají metaučící postupy k tomu, aby usnadnily proces strojového učení, navrhli jeho optimální průběh a na- stavení. V této práci jsme navrhli algoritmy metaučení pro optimalizaci hyper- parametrů, zužování rozsahů hyperparametrů a doporučování metod strojového učení pro zcela nová data. Implementovali jsme dva systémy automatického strojového učení (AutoML), ve kterých jsme použili navržené metaučící techniky. V práci prezentujeme výsledky rozsáhlých experimentů, ve kterých tyto techniky vyhodnocujeme a porovnáváme.

In the last few years, as processing the data became a part of everyday life in different areas of human activity, the automated machine learning systems that are designed to help with the process of data mining, are on the rise. Various metalearning techniques, including recommendation of the right method to use, or the sequence of steps to take, and to find its optimum hyperparameters configuration, are integrated into these systems to help the researchers with the machine learning tasks. In this thesis, we proposed metalearning algorithms and techniques for hyperparameters optimization, narrowing the intervals of hyperparameters, and recommendations of a machine learning method for a never before seen dataset. We designed two AutoML machine learning systems, where these metalearning techniques are implemented. The extensive set of experiments was proposed to evaluate these algorithms, and the results are presented.