Robust semi-generalized camera pose estimation using multiple minimal solvers

Abstract

Camera pose estimation is a fundamental problem in computer vision with various ap- plications, such as in Structure-from-Motion and Visual Localization. These applications often focus on registering a new camera to a set of already registered cameras with known poses. Thus, camera poses can be estimated by solving the semi-generalized relative pose problem. This is usually achieved by using a minimal solver inside a RANSAC-style robust estimator. This estimator can handle data with a large amount of outliers. While solvers for the semi-generalized relative pose problem are typically too inefficient for practical use, the highly related semi-generalized homography problem can be solved effi- ciently. This thesis develops and investigates different implementations, e.g., using Sturm sequences or companion matrix approaches, for multiple solvers for this problem. This thesis further proposes a novel RANSAC-based approach that automatically selects the most suitable solver for each iteration in a data-driven way. In detailed experiments, the solvers are evaluated in terms of efficiency and stability. Extensive experiments show the effectiveness of our novel RANSAC-based approach by comparing it against two baselines. 1

Odhad pozície kamery je základným problémom počítačového videnia s rôznymi apli- káciami, ako napríklad "Structure-from-Motion" (Štruktúra z pohybu) a "Visual Locali- zation" (Vizuálna lokalizácia). Tieto aplikácie sa často zameriavajú na registráciu novej kamery voči množine už zaregistrovaných kamier so známymi pozíciami. Polohy kamery je teda možné odhadnúť vyriešením "semi-generalized relative pose problem" (problému čiastočne zovšeobecnenej relatívnej pozície). To sa zvyčajne dosiahne použitím minimál- neho riešiča (minimal solver) vo vnútri robustného estimátora v štýle RANSAC. Tento es- timátor zvládne spracovať údaje s veľkým množstvom odľahlých hodnôt (outliers). Zatiaľ čo riešiče čiastočne zovšeobecného problému relatívnej pozície sú zvyčajne príliš neefek- tívne na praktické použitie, veľmi súvisiaci problém čiastočne zovšeobecnenej homografie možno efektívne vyriešiť. Táto práca vyvíja a skúma rôzne implementácie pre viacero riešičov tohto problému, napr. pomocou Sturmových sekvencií alebo pomocou matice pridruženej polynómu (companion matrix). Táto práca ďalej navrhuje nový prístup za- ložený na RANSAC, ktorý automaticky vyberie najvhodnejší riešič pre každú iteráciu na základe dát. V podrobných experimentoch sú riešiče hodnotené z hľadiska efektivity a stability. Rozsiahle experimenty ukazujú...