Algoritmus zpětného šíření chyby: Porovnání verzí

Smazaný obsah Přidaný obsah
Reference
m odkazy, překlepy
Řádek 2:
 
== Dějiny ==
Podle různých zdrojů<ref name="dreyfus1990">Stuart Dreyfus: ''Artificial Neural Networks, Back Propagation and the Kelley-Bryson Gradient Procedure.'' In: ''J. Guidance, Control and Dynamics.'' 1990.</ref><ref name="schmidhuber2015">[[Jürgen Schmidhuber]]: ''Deep learning in neural networks: An overview.'' In: ''Neural Networks.'' 61, 2015, S. 85–117. [http://arxiv.org/abs/1404.7828 ArXiv]</ref> <ref name="scholarpedia2015">Jürgen Schmidhuber: ''Deep Learning.'' In: ''Scholarpedia.'' 10(11), 2015, S. 328–332. [http://www.scholarpedia.org/article/Deep_Learning#Backpropagation Section on Backpropagation]</ref> byly základy metody v kontextu teorie řízení odvozeny z principů [[Dynamické programování|dynamického programování]]; konkrétně se na tom podíleli Henry J. Kelley <ref name="kelley1960">Henry J. Kelley: ''Gradient theory of optimal flight paths.'' In: ''Ars Journal.'' 30(10), 1960, S. 947–954. [http://arc.aiaa.org/doi/abs/10.2514/8.5282?journalCode=arsj (online)]</ref> v roce 1960 a Arthur E. Bryson v roce 1961. <ref name="bryson1961">Arthur E. Bryson: ''A gradient method for optimizing multi-stage allocation processes.'' In: ''Proceedings of the Harvard Univ. Symposium on digital computers and their applications.'' April 1961.</ref> Roku 1962 publikoval Stuart Dreyfus jednodušší odvození pomocí [[Řetízkové pravidlo|řetězového pravidla]]. <ref name="dreyfus1962">Stuart Dreyfus: ''The numerical solution of variational problems.'' In: ''Journal of Mathematical Analysis and Applications.'' 5(1), 1962, S. 30–45. [https://www.researchgate.net/publication/256244271_The_numerical_solution_of_variational_problems (online)]</ref> [[Vladimir Vapnik]] cituje ve své knize o [[Supportsupport vector machines]] článek z roku 1963. <ref>A. E. Bryson, W. F. Denham, S. E. Dreyfus: ''Optimal programming problems with inequality constraints. I: Necessary conditions for extremal solutions.'' In: ''AIAA J.'' 1, 11, 1963, S. 2544–2550.</ref> V roce 1969 Bryson a Yu-Chi Ho algoritmus popsali jako vícestupňovou optimalizaci dynamických systémů. <ref>{{Citace monografie
| autor = Stuart Russell, [[Peter Norvig]]
}}</ref><ref>{{Citace monografie
Řádek 8:
}}</ref>
 
Konečně v roce 1970 Seppo Linnainmaa publikoval obecnou metodu automatického derivování (AD) diskrétních sítí vnořených [[Diferencovatelnost|diferencovatelných]] funkcí. <ref name="lin1970">[[Seppo Linnainmaa]]: ''The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors.'' Master’s Thesis (in Finnish), Univ. Helsinki, 1970, S. 6–7.</ref> <ref name="lin1976">[[Seppo Linnainmaa]]: ''Taylor expansion of the accumulated rounding error.''In: ''BIT Numerical Mathematics.'' 16(2), 1976, S. 146–160.</ref> Jedná se o moderní variantu metody zpětného šíření chyby, která je efektivní i v řídkých sítích. <ref name="grie2012">Andreas Griewank: ''Who Invented the Reverse Mode of Differentiation?'' Optimization Stories. In: ''Documenta Matematica.'' Extra Volume ISMP, 2012, S. 389–400.</ref> <ref name="grie2008">Andreas Griewank, Andrea Walther: ''Principles and Techniques of Algorithmic Differentiation.'' 2. Auflage. SIAM, 2008.</ref> <ref name="schmidhuber2015">[[Jürgen Schmidhuber]]: ''Deep learning in neural networks: An overview.'' In: ''Neural Networks.'' 61, 2015, S. 85–117. [http://arxiv.org/abs/1404.7828 ArXiv]</ref> <ref name="scholarpedia2015">Jürgen Schmidhuber: ''Deep Learning.'' In: ''Scholarpedia.'' 10(11), 2015, S. 328–332. [http://www.scholarpedia.org/article/Deep_Learning#Backpropagation Section on Backpropagation]</ref>
 
V roce 1973 Stuart Dreyfus pomocí zpětného šíření chyby upravoval parametry řídicích systémů úměrně jejich chybovým gradientům. <ref name="dreyfus1973">Stuart Dreyfus: ''The computational solution of optimal control problems with time lag.'' In: ''IEEE Transactions on Automatic Control.'' 18(4), 1973, S. 383–385.</ref> Paul Werbos zmínil možnost uplatnění tohoto principu na [[Umělá neuronová síť|umělé neuronové sítě]] roku 1974 <ref name="werbos1974">[[Paul Werbos]]: ''Beyond regression: New tools for prediction and analysis in the behavioral sciences.'' PhD thesis. Harvard University 1974.</ref> a v roce 1982 tak učinil způsobem, který se používá nyní. <ref name="werbos1982">Paul Werbos: ''Applications of advances in nonlinear sensitivity analysis.'' In: ''System modeling and optimization.'' Springer, Berlin/ Heidelberg 1982, S. 762–770. [http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf (online)]</ref> <ref name="scholarpedia2015">Jürgen Schmidhuber: ''Deep Learning.'' In: ''Scholarpedia.'' 10(11), 2015, S. 328–332. [http://www.scholarpedia.org/article/Deep_Learning#Backpropagation Section on Backpropagation]</ref> O čtyři roky později David E. Rumelhart, Geoffrey E. Hinton a Ronald J. Williams experimentálně prokázali, že tato metoda může vést k užitečným interním reprezentacím vstupních dat v hlubších vrstvách neuronových sítí, což je základem [[Hluboké učení|hlubokého učení]].<ref name="Rumelhart1986">[[David Rumelhart|David E. Rumelhart]], [[Geoffrey Hinton|Geoffrey E. Hinton]], [[Ronald J. Williams]]: ''Learning representations by back-propagating errors.'' In: ''[http://www.nature.com/nature/journal/v323/n6088/abs/323533a0.html Nature].'' Band 323, 1986, S. 533–536.</ref> V roce 1993 byl Eric A. Wan první <ref name="schmidhuber2015">[[Jürgen Schmidhuber]]: ''Deep learning in neural networks: An overview.'' In: ''Neural Networks.'' 61, 2015, S. 85–117. [http://arxiv.org/abs/1404.7828 ArXiv]</ref> kdo vyhrál pomocí backpropagace mezinárodní soutěž v modelování dat. <ref name="wan1993">Eric A. Wan: ''Time series prediction by using a connectionist network with internal delay lines.'' In: ''Santa Fe Institute Studies in the Sciences of Complexity-Proceedings.'' Vol. 15, Addison-Wesley Publishing Co., 1993, S. 195–195.</ref>
 
== Algoritmus ==