Appearance matching and fabrication using differentiable material models

Abstract

Výpočetní deriváty kódu - s kódem - jsou jedním z klíčových aktivátorů revoluce strojového učení. V počítačové grafice umožňuje automatická diferenciace řešit problémy s inverzním renderingem, kde se z jednoho nebo několika vstupních snímků získávají parametry jako je odrazovost objektu, poloha nebo koeficienty rozptylu a absorpce ob- jemu. V této práci zvažujeme problémy s přizpůsobením vzhledu a s výrobou, které lze uvést jako příklady problémů s inverzním renderingem. Zatímco optimalizace založená na gradientu, kterou umožňují diferencovatelné programy, má potenciál přinést velmi dobré výsledky, vyžaduje správné využití. Diferenciovatelný rendering není řešením problémů typu brokovnice. Diskutujeme jak teoretické koncepty, tak praktickou implementaci dife- rencovatelných renderingových algoritmů a ukazujeme, jak se spojují s různými problémy s přizpůsobením vzhledu. 1

Computing derivatives of code - with code - is one of the key enablers of the machine learning revolution. In computer graphics, automatic differentiation allows to solve in- verse rendering problems. There, parameters such as an objects reflectance, position, or the scattering- and absorption coefficients of a volume, are recovered from one or several input images. In this work, we consider appearance matching and fabrication problems, that can be cast as instances of inverse rendering problems. While gradient-based opti- mization that is enabled by differentiable programs has the potential to yield very good results, it requires proper handling - differentiable rendering is not a shotgun-type prob- lem solver. We discuss both theoretical concepts and the practical implementation of differentiable rendering algorithms, and show how they connect to different appearance matching problems. 1