Approximation of functions continuous on compact sets by layered neural networks

Abstract

Despite abundant research into neural network applications, many areas of the under- lying mathematics remain largely unexplored. The study of neural network expressivity is vital for understanding their capabilities and limitations. However, even for shallow networks this topic is far from solved. We provide an upper bound on the number of neurons of a shallow neural network required to approximate a function continuous on a compact set with given accuracy. Dividing the compact set into small polytopes, we ap- proximate the indicator function of each of them by a neural network and combine these into an approximation of the target function. This method, inspired by a specific proof of the Stone-Weierstrass Theorem, is more general than previous bounds of this character, with regards to approximation of continuous functions. Also, it is purely constructive. 1

I přes rozsáhlost současného výzkumu aplikací neuronových sítí není stále prozkou- máno mnoho oblastí jejich matematického pozadí. Kvůli nutnosti porozumění možnostem a omezením neuronových sítí je zkoumání jejich expresivity velmi důležité. Přesto toto téma není zdaleka vyřešené ani pro mělké sítě. V práci sestrojíme horní mez na počet neuronů nezbytných pro aproximaci funkce spojité na kompaktu neuronovou sítí s danou přesností. Postupujeme rozdělením kompaktu na malé polytopy, aproximací charakteris- tické funkce každého z nich a složením těchto do aproximace cílové funkce. Tato metoda, která je inspirována konkrétním důkazem Stoneovy-Weierstrassovy věty, je obecnější než předchozí odhady v tomto směru s ohledem na aproximaci spojitých funkcí. Také je plně konstruktivní. 1