Throughput optimization of a multistage data visualisation pipeline

Abstract

Recent technological advances allowed vast increases of the size of datasets acquired by flow cytometry. With more cells and features captured, manual exploration and analysis of the data become challenging; multiple unsuper- vised methods were thus created to simplify the task. This thesis describes BlosSOM, a software that further improves the analysis possibilities by allow- ing interactive CUDA-accelerated supervision of the most common analysis approaches - dimensionality reduction, clustering, and annotation. The thesis overviews the features of BlosSOM implemented by the thesis author for the previous research project and details new developments, mainly a new dynamic workload balancing approach that allows BlosSOM to easily scale to very complex datasets while maintaining interactive framerate. To- gether with other improvements, BlosSOM is a production-ready software that offers all essential tools to analyze the flow cytometry data.

Nedávný technologický pokrok umožnil výrazné zvětšení datasetů získa- ných pomocí průtokové cytometrie. Stále se zvětšující množství zachycených buněk a jejich vlastností zapříčinilo, že manuální analýza těchto dat je ob- tížná. Ke zjednodušení analýzy se běžně využívají metody strojového učení bez učitele. V této práci popisujeme software BlosSOM, který dále rozšiřuje možnosti analýzy dat (nejen) průtokové cytometrie. Mezi hlavní přednosti patří CUDA-akcelerovaný interaktivní přístup k nejběžnějším metodám pro analýzu dat - redukce dimenzionality, shlukování, a anotování. Tato práce obsahuje detailní popis softwaru BlosSOM a klade si za cíl blíže popsat nově vyvinuté části, zejména dynamické vyvažování pracovní zátěže. To umožňuje zpracovávat a analyzovat i velmi komplexní datasety, aniž by počet snímků za sekundu klesl pod interaktivní úroveň. BlosSOM je nyní možné využít i v produkčním prostředí, neboť nabízí všechny nezbytné nástroje pro analýzu dat z průtokové cytometrie.