Aproximativní datové profilování

Abstract

Na základě analýzy datových vstupů přináší datové profilování sumarizaci hodnot, která je vypočtena pomocí různých typů statis- tik. S růstem velikosti dat uložených v datových zdrojích se však nejedná o výpočetně snadnou operaci. Pro velká data není možné uložit všechny hodnoty v rychlé paměti RAM. Tudíž nelze použít jednoprůchodové a zároveň přesné algoritmy bez využití pomalejšího úložiště počítače. Diplomová práce má za cíl implementovat, porov- nat a následně vybrat vhodné aproximativní algoritmy pro pro- filování objemných dat. Díky aplikaci aproximativního přístupu lze následně omezit paměť potřebnou pro výpočet natolik, že celou jednoprůchodovou analýzu dat je možné spočítat pouze v paměti RAM. Tím se proces profilování dat značně urychlí. Nástroj pak dokáže produkovat výsledky frekvenční analýzy, výpočtů kardinal- ity, kvantilů nebo histogramů a dalších jednosloupcových statistik v krátkém čase s chybou řádově v desetinách procent.

Data profiling is the process of analyzing data and producing an output with statistical summaries. The size of data rapidly increases and it is more difficult to process all data in a reasonable time. All data can not be stored in RAM memory, so it is not possible to run exact single-pass algorithms without using slower computer storage. The diploma thesis focuses on the implementation, comparison, and selection of suitable algorithms for data profiling of large input data. Usage of approximate algorithms brings a possibility to limit mem- ory for computation, do the whole process in RAM memory and the duration of data profiling should be reduced. The tool can compute frequency analysis, cardinality, quantiles, histograms, and other single-column statistics in a short time with a relative error lower than one percent.