Construction of time-space trajectories from multimodal data

Abstract

With the growth of public camera recordings and video streams in recent years, there is an increasing need for automatic processing with limited human input. An important part of the process is detecting moving objects in the video and grouping individual detections across video frames into trajectories. This thesis presents a set of algorithms for creating trajectories from object detections while using a configurable analytic model. Presented algorithms are based on the clustering of detections, later even simple trajectories, into complex trajectories by their features, such as a timestamp (frame), bounding rectangle in the video frame and optionally, image crop defined by the bounding rectangle. To present the usage of the generated trajectories, we then introduce methods for further analysis and data extraction. The first method improves the input detections by adding missing detection due to the detector error. The second one is creating a simple semantic description of trajectories to enable further research, such as action analysis or trajectory searching. 1

S nárůstem veřejných kamerových nahrávek a videozáznamů v posledních letech vzniká i rostoucí potřeba pro jejich automatické zpracování s omezeným lidským zásahem. Důleži- tou součástí tohoto zpracování jsou detekce pohybujících se objektů ve videu a shlukování jednotlivých detekcí přes celý obraz do trajektorií. Tato práce představuje sadu algoritmů pro vytváření trajektorií z detekcí objektu za použití analytického modelu. Představené algoritmy jsou jsou založeny na shlukování detekcí, později i jednoduchých trajektorií, do složitých trajektorií na základě vlastností jako jsou čas (framu), ohraničující obdélník ve framu, který určuje detekovaný objekt a případně i výřez obrázku určeného ohraničujícím obdélníkem. Pro ukázání použití vygenerovaných trajektorií jsme představili metody pro zlepšení vstupních detekcí tím, že přidají, kvůli chybě detektoru, chybějící nedetekované detekce. Jako druhé použití trajektorií generujeme jednoduché sémantické popisy trajek- torií tak, abychom v budoucnu mohli zkoumat chování objektů a případně je vyhledávat. 1