Detekce střihů a vyhledávání známých scén ve videu s pomocí metod hlubokého učení

Abstract

Vyhledávání ve videu představuje náročný problém s mnoha záludnostmi a dílčími problémy. Tato práce se zaměřuje na dva z těchto podproblémů, konkrétně na detekci střihů a textové vyhledávání. V případě detekce střihů bylo v posledních desetiletích navrženo mnoho řešení. Nedávné přístupy založené na hlubokém učení zlepšily přes- nost detekce pomocí 3D konvolučních architektur a uměle vytvořených trénovacích dat, ale stoprocentní přesnost je stále nedosažitelným ideálem. V této práci představujeme TransNet V2, hlubokou síť pro detekci střihů, která dosahuje nejlepších výsledků v porovnání s konkurenčními metodami na respekovaných datasetech. V případě druhého námi řešeného problému textového vyhledávání se ukázaly jako efektivní řešení hluboké neuronové sítě promítající textové dotazy a snímky videa do společného prostoru. V této práci zkoumáme použítí těchto sítí pro případ hledání známého objektu ve videu a navrhujeme vylepšení způsobu, jakým lze zakódovat textový dotaz. 1

Video retrieval represents a challenging problem with many caveats and sub-problems. This thesis focuses on two of these sub-problems, namely shot transition detection and text-based search. In the case of shot detection, many solutions have been proposed over the last decades. Recently, deep learning-based approaches improved the accuracy of shot transition detection using 3D convolutional architectures and artificially created training data, but one hundred percent accuracy is still an unreachable ideal. In this thesis we present a deep network for shot transition detection TransNet V2 that reaches state-of- the-art performance on respected benchmarks. In the second case of text-based search, deep learning models projecting textual query and video frames into a joint space proved to be effective for text-based video retrieval. We investigate these query representation learning models in a setting of known-item search and propose improvements for the text encoding part of the model. 1