Grossbergova neuronová síť

Grossbergova síť je dvouvrstvá dopředná umělá neuronová síť představená Stephenem Grossbergem. Je to samoorganizující síť pracující ve spojitém čase zvyšující na druhé vrstvě kontrast na první vrstvu předloženého vzoru. Grossberg, neurovědec a biomedicínský inženýr, navrhl tuto síť na základě modelu lidského vidění.

Zvýšení kontrastu (červená) obrazu na sítnici (modrá) ve vizuálním kortexu.

Shunting model

Grossbergův model vývoje úrovně aktivace neuronu je popsaný diferenciální rovnicí:

${dx \over dt}\;+Ax\;=\;(B-x)I^{+}\;-(C+x)I^{-}$,

kde $x$ představuje úroveň aktivace neuronu, $I^{+}$ a $I^{-}$ představují excitační a inhibiční vstupy neuronu a $A$, $B$ a $C$ jsou nezáporné konstanty představující rychlost vývoje úrovně aktivace neuronu a maximální a minimální úroveň aktivace neuronu.

Leaky integrator a Instar učení

Vývoj aktivace výstupního neuronu ve formě Leaky integratoru.

Pro $A+I^{+}+I^{-}=1$ a $BI^{+}-CI^{-}=Z$ dostaneme model vývoje úrovně aktivace výstupního neuronu resp. jeho řešení ve tvaru:

${dy \over dt}\;+y\;=\;Z$ resp. $y\;=\;Z(1-e^{-t})$, tj. pro $t\rightarrow \infty$ dostaneme $y\;=\;Z$ (Short-term memory (STM)),

přičemž učící instar pravidlo (učení bez učitele), tj. ukládání úrovně aktivace vstupního neuronu (presynaptická aktivita) do váhy vstupu výstupního neuronu resp. jeho řešení pro $t\rightarrow \infty$ máme ve tvaru:

${dw \over dt}\;+yw\;=\;xy$ resp. $w\;=\;x$ (Long-term memory (LTM)),

kde $w=w(t)$ představuje váhu vstupu výstupního neuronu a $x=x(t)$ resp. $y=y(t)$ představují úroveň aktivace vstupního resp. výstupního neuronu.

Outstar učení a Hebbovské učení

Model synaptické vazby ohodnocené vahou w mezi vstupním a výstupním lineárním neuronem s úrovní aktivace x resp. y a injektovaným vstupem X resp. Y.

Pro srovnání učící outstar pravidlo (učení s učitelem), tj. ukládání úrovně aktivace výstupního neuronu (postsynaptická aktivita) do váhy vstupu výstupního neuronu resp. jeho řešení pro $t\rightarrow \infty$ máme ve tvaru:

${dw \over dt}\;+xw\;=\;xy$ resp. $w\;=\;y$

a učící Hebbovo pravidlo (učení s učitelem), tj. ukládání úrovně aktivace vstupního neuronu vážené úrovní aktivace výstupního neuronu do váhy vstupu výstupního neuronu resp. jeho řešení pro $t\rightarrow {\mathit {1}}$ při zanedbání změny úrovně aktivace neuronů v čase máme ve tvaru:

${dw \over dt}\;=\;xy$ resp. $w\;=\;xy\int _{0}^{1}dt$ tj. $w\;=\;xy$.

Normalizace vzoru

Vazby výstupního (středního) neuronu Grossbergovy sítě.

Přepišme model vývoje úrovně aktivace neuronu do vektorového tvaru, tj. pro vstupní vrstvu o n neuronech pro $I^{+}=W^{+}I$ a $I^{-}=W^{-}I$:

${dx \over dt}\;+Ax\;=\;(B-x)W^{+}I\;-(C+x)W^{-}I$,

kde $W^{+}$ resp. $W^{-}$ je jednotková matice řádu n resp. jednotková matice řádu n modifikovaná záměnou jedniček za nuly a naopak, určující propojení neuronů vrstvy vzájemnými excitačními (on-center) resp. inhibičními (off-surround) vazbami, pak pro i-tou složku modelu pro $A=1$, $B=1$ a $C=0$ dostaneme:

${dx_{i} \over dt}\;=\;-x_{i}\;+(1-x_{i})I_{i}\;-x_{i}(I_{1}+...+I_{n}-I_{i})\;=\;-(1+I_{\Sigma })x_{i}+I_{i}$,

kde $I_{\Sigma }=I_{1}+...+I_{n}$ a pro nulové počáteční podmínky pak obdržíme předpis vývoje úrovně aktivace neuronu resp. ustálený stav aktivace neuronu ve tvaru:

$x_{i}(t)\;=\;\mu _{i}{I_{\Sigma } \over (1+I_{\Sigma })}(1-e^{-(1+I_{\Sigma })t})$ resp. $x_{i}(\infty )\;=\;\mu _{i}{I_{\Sigma } \over (1+I_{\Sigma })}$,

kde $\mu _{i}\;=\;{I_{i} \over I_{\Sigma }}$ pro $I_{\Sigma }>0$ a pro lineární přenosovou funkci představuje normalizovaný vzor.

Kontrast vzoru

Vliv volby typu přenosové funkce na zobrazení předloženého vzoru na výstupní vrstvě.

V případě výstupní vrstvy se k excitačnímu vstupu daného neuronu ještě připočte příspěvek vstupní vrstvy, tj. skalární součin aktivit vstupních neuronů s vahami vstupu daného výstupního neuronu. Volba přenosové funkce výstupních neuronů má vliv na zobrazení předloženého vzoru na výstupní vrstvě. Zvýšení kontrastu předloženého vzoru na výstupní vrstvě při sigmoidální přenosové funkci výstupních neuronů je automaticky dosaženo vývojem úrovně aktivace výstupních neuronů k ustáleným stavům (Lateral inhibition). Sigmoidní funkce jsou rychlejší než lineární pro malé signály, lineární pro střední signály a pomalejší než lineární pro velké signály.

Související články

• Adaptivní rezonanční teorie

Literatura

• KŘIVAN, Miloš. Umělé neuronové sítě. [s.l.]: Nakladatelství Oeconomica, Vysoká škola ekonomická v Praze 77 s. Dostupné online. ISBN 978-80-245-2420-7. 

• NOVÁK, M.; FABER, J.; KUFUDAKI, O. Neuronové sítě a informační systémy živých organismů. [s.l.]: Grada, 1993. 265 s. ISBN 8085424959.