Semi-supervised Learning from Unfavorably Distributed Data

Abstract

Semi-supervised learning (SSL) is a branch of machine learning focusing on using not only labeled data samples, but also unlabeled ones, in an effort to decrease the need for labeled data and thus allow using machine learning even when labeling large amounts of data would be too costly. Despite its quick development in the recent years, there are still issues left to be solved before it can be broadly deployed in practice. One of those issues is class distribution mismatch. It arises when the unlabeled data contains samples not belonging to the classes present in the labeled data. This confuses the training and can even lead to getting a classifier performing worse than a classifier trained on the available data in purely supervised fashion. We designed a filtration method called Unfavorable Data Filtering (UDF) which extracts important features from the data and then uses a similarity-based filter to filter the irrelevant data out according to those features. The filtering happens before any of the SSL training takes places, making UDF usable with any SSL algorithm. To judge its effectiveness, we performed many experiments, mainly on the CIFAR-10 dataset. We found out that UDF is capable of significantly improving the resulting accuracy when compared to not filtering the data, identified basic guidelines...

Semi-supervised učení je technika strojového učení snažící se využít nejen označko- vaná data (data pro která známe požadované výstupy), ale i neoznačkovaná data (data pro která požadované výstupy neznáme) s cílem snížit požadavky na množství označko- vaných dat a tím umožnit použití strojového učení i v případech kdy je označkování velkého množství dat příliš náročné. I přes svůj rychlý vývoj v posledních letech stále trpí problémy které brání jeho širokému využití v praxi. Jedním z těchto problémů je nesoulad distribucí tříd. Ten vzniká, když neoznačkovaná data obsahují vzorky které nepatří do žádné ze tříd označkovaných dat. To může zmást učení klasifikátoru do takové míry, že je ve výsledku horší než kdyby neoznačkovaná data vůbec nebyla využita. Tato diplomová práce navrhuje metodu nazvanou Unfavorable Data Filtering (UDF), která nejprve z dat extrahuje důležité příznaky a pak se na jejich základě pomocí filtru založeného na podobnosti datových vzorků snažít vyřadit nerelevantní data z trénovacích dat. Díky tomu, že je UDF použita před semi-supervised učením je možné ji použít s libovolnou učící metodou. Pro zjištění jak efektivní UDF je jsme provedli mnoho ex- perimentů, převážně na datasetu zvaném CIFAR-10. Pomocí těchto experimentů jsme zjistili, že filtrování pomocí UDF je opravdu schopno výrazně...