Algebraic Structure of R-PolyNets Neural Networks

Abstract

V této práci se zaměříme na studium polynomiálních neuronových sítí, zvaných R- PolyNets, s využitím nástrojů z algebraické geometrie. Odvodíme rekurzivní vztah pro zobrazení parametrů, jehož obraz definujeme jako neuromanifold. Jednou z klíčových vlastností neuromanifoldu je jeho dimenze. Představíme jak globální, tak lokální metodu výpočtu dimenze a v případě lokálního výpočtu prostudujeme strukturu Jakobiánů mapy parametrů a jejich skládání v jednotlivých vrstvách. V neposlední řadě dokážeme horní odhad na dimenzi neuromanifoldu a empiricky doložíme jemnější horní mez. Dále výpo- četně ověříme, že zobrazení je zřídkakdy dominantní. Na závěr prostudujeme a dokážeme symetrie generických předobrazů sítě.

In this work, we focus on the study of polynomial neural networks, referred to as R-PolyNets, using tools from algebraic geometry. We derive a recursive relation for the map of parameters, whose image we define as a neuromanifold. One of the key properties of the neuromanifold is its dimension. We present both global and local methods for computing the dimension, and in the local case, we examine the structure and the forward propagation of Jacobians of the parameter map. Furthermore, we establish an upper bound on the dimension of the neuromanifold and empirically demonstrate a finer upper estimate. We also computationally verify that the map is rarely dominant. Finally, we investigate and prove the symmetries of generic preimages of the network.