Polynomiální neuronová síť

Polynomiální neuronová síť typu Group Method of Data Handling (GMDH) je vícevrstvá neuronová síť s několika vstupy a jedním výstupem. Algoritmus sítí GMDH^[1], poprvé zveřejněný A. G. Ivachněnkem, byl vyvinut jako nástroj pro nalezení závislostí v komplexních nelineárních vícerozměrných systémech. Neuronová síť GMHD je typem sítě s učením s učitelem. Parametry sítě se vytvářejí při předkládání dat. Zvláštností této sítě je, že nemá pevnou strukturu. Ta je postupně vytvářena vrstva po vrstvě, právě při učení této sítě. Tato síť provádí polynomiální kombinaci vstupů a každá další vrstva zdvojnásobuje stupeň výsledného polynomu.

GMDH je rodina induktivních algoritmů pro počítačové matematické modelování víceparametrických datových souborů, která nabízí plně automatickou strukturální a parametrickou optimalizaci modelů. GMDH se používá v takových oblastech, jako je dolování dat, objevování znalostí, predikce, modelování složitých systémů, optimalizace a rozpoznávání vzorů. Algoritmy GMDH se vyznačují induktivním postupem, který provádí postupně třídění komplikovaných polynomických modelů a výběr nejlepšího řešení pomocí vnějšího kritéria.

Algoritmus hledá optimální polynom reprezentující předložená data. Algoritmus dále tento polynom vytváří pomocí polynomiální vícevrstvé sítě aproximací funkce $f:\mathbb {R} ^{n}\rightarrow \mathbb {R}$ . Funkce mapují podmnožinu n-rozměrného Euklidovského prostoru (vstupní reálná data) do množiny reálných čísel. Cílem je získat matematický model objektu (problém identifikace) nebo popsat proces, který se na objektu bude odehrávat v budoucnosti (problém předpovídání). GMDH patří ke skupině tzv. induktivních algoritmů – nad předloženým datovým souborem se snaží samy bez přičinění uživatele nalézt model zkoumaných dat.

Funkce použitá v GMDH je Kolmogorov-Gaborův polynom:

Y(x_{1},\dots ,x_{n})=a_{0}+\sum \limits _{i=1}^{n}{a_{i}}x_{i}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{a_{ij}}}x_{i}x_{j}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{\sum \limits _{k=j}^{n}{a_{ijk}}}}x_{i}x_{j}x_{k}+\cdots

,

obvykle se používá polynom do druhého stupně.

Jürgen Schmidhuber uvádí GMDH jako jednu z prvních metod hlubokého učení a poznamenává, že byla použita k trénování osmivrstvých neuronových sítí již v roce 1971.^[2]

Reference editovat

↑ IVAKHNENKO, Alexey. Polynomial theory of complex systems. IEEE Transactions on Systems, Man and Cybernetics. 1971, s. 364–378. Dostupné online. DOI 10.1109/TSMC.1971.4308320.
↑ SCHMIDHUBER, Jürgen. Deep learning in neural networks: An overview. Neural Networks. 2015, s. 85–117. DOI 10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509. arXiv 1404.7828.

Externí odkazy editovat

[1] IVAKHNENKO, Alexey. Polynomial theory of complex systems. IEEE Transactions on Systems, Man and Cybernetics. 1971, s. 364–378. Dostupné online. DOI 10.1109/TSMC.1971.4308320.

[2] SCHMIDHUBER, Jürgen. Deep learning in neural networks: An overview. Neural Networks. 2015, s. 85–117. DOI 10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509. arXiv 1404.7828.

[1]

[2]