6D pose estimation of objects in images

Abstract

The 6D pose estimation is an important computer vision task with applications in robotics, e.g. for manipulation or grasping, but also in computer graphics and augmented reality. Given an image, the task is to estimate the 3D rotation and 3D translation of the known object with respect to the camera. The task is even more challenging in an uncontrolled environment, e.g. when we do not have proper camera calibration. In that case, the focal length also needs to be estimated with the 6D pose. In this work, we address the issues of methods that work in such uncontrolled environments. First, we focus on FocalPose, a state-of-the-art method for joint estimation of object 6D pose and camera focal length. We review the method and propose several improve- ments. These include (i) re-deriving and improving the 6D pose and focal length update rule, (ii) replacing the model retrieval method, and (iii) changing the distribution of 6D poses and focal lengths used for synthetic training data rendering. These changes lead to improved results compared to the state-of-the-art FocalPose method. Second, to avoid often costly retraining of models for 6D pose estaimation, it is ben- eficial to consider methods with the ability to generalize to novel objects that have not been seen during training. These methods require a 2D...

Odhad 6D polohy objektů je důležitou úlohou počítačového vidění s možným vyu- žitím například při robotické manipulaci, ale také v počítačové grafice a augmentované realitě. Cílem je odhadnout polohu známého objektu relativně vůči kameře, tedy 3D rotaci a 3D translaci, ze vstupního obrazu. Tento problém je ještě komplikovanější v ne- kontrolovaném prostředí, například v situacích, kdy neznáme správnou kalibraci kamery. V takovém případě je také nutné odhadnout ohniskovou vzdálenost kamery spolu s 6D polohou objektu. V této práci se věnujeme problémům metod pracujících v takových nekontrolovaných prostředích. V první části se konkrétně zaměřujeme na metodu FocalPose - state-of-the-art me- todu pro odhad 6D polohy objektu a ohniskové vzdálenosti kamery. Tuto metodu nejprve shrnujeme a poté navrhujeme několik vylepšení. Mezi ně patří: (i) odvození a vylepšení vzorce pro aktualizaci 6D polohy a ohniskové vzdálenosti, (ii) nahrazení metody pro vy- hledávání objektů v databázi 3D modelů, a (iii) změna distribuce 6D poloh a ohniskových vzdáleností používaných pro generování syntetických trénovacích dat. Tyto změny vedou k lepším výsledkům v porovnání s metodou FocalPose. Nevýhodou metod pro odhadování 6D poloh objektů je výpočetně velmi náročné tré- nování. Vyhnout se přetrénovávání pro nové objekty je možné s...