Rotation-equivariant convolutional neural network for design of visual prosthetic stimulation protocol

Abstract

Neighboring neurons in the primary visual cortex (V1), the first cortical area pro- cessing visual information, are selective to stimuli presented in neighboring positions of the visual field with a specific edge orientation. In this way, they form the so-called retinotopic and orientation maps of V1. Due to the absence of high-resolution cortical stimulation devices, vision restoration through prosthetic implants in V1 has not yet taken advantage of the orientation maps. However, the availability of cortical implants with stimulation resolution high enough to target separate orientation columns can be anticipated soon. Since other stimulus features are also encoded in the cortex, such as color, size, or phase, but cannot be reliably engaged even by high-resolution stimulation, in this thesis, we ask the question of how well can visual stimuli be encoded in V1 if only orientation and position preference is known. To address this question, we propose a deep neural network (DNN) providing a scalar neural activity descriptor for any targeted cortical location and multiple different orientations. This is achieved by employing a rotation-equivariant convolutional neural network (reCNN) with the last layer having only one channel for each orientation, returning the desired three-dimensional feature tensor. A...

Sousední neurony v primární zrakové kůře (V1), první kortikální oblasti zpracovávající vizuální informace, jsou selektivní vůči podnětům prezentovaným v sousedních polohách zorného pole se specifickou hranovou orientací. Tvoří tak tzv. retinotopické a orientační mapy V1. Vzhledem k absenci zařízení pro kortikální stimulaci s vysokým rozlišením za- tím obnovení zraku pomocí protetických implantátů ve V1 nevyužilo výhody orientačních map. Brzy však lze očekávat dostupnost kortikálních implantátů s dostatečně vysokým rozlišením stimulace, aby bylo možné zacílit na samostatné orientační sloupce. Vzhledem k tomu, že v kortexu jsou zakódovány i jiné stimulační prvky, jako je barva, velikost nebo fáze, ale nelze je spolehlivě zapojit ani stimulací s vysokým ro- zlišením, klademe si v této práci otázku, jak dobře lze vizuální stimuly zakódovat ve V1 pokud je známa pouze orientace a preference polohy. K vyřešení této otázky navrhu- jeme hlubokou neuronovou síť (DNN) poskytující deskriptor nervové aktivity pro jak- oukoli cílovou kortikální pozici a danou orientační preferenci. Toho je dosaženo použitím rotačně-ekvivariantní konvoluční neuronové sítě (reCNN) s poslední vrstvou, která má pouze jeden kanál pro každou orientaci, vracející požadovaný trojrozměrný tenzor hodnot. Specializovaný výstup odhaduje polohy...