Aktivační funkce

Aktivační (přenosová) funkce neuronu v umělých neuronových sítích definuje výstup neuronu při zadání sady vstupů neuronu.[1] Nelineární aktivační funkce umožňují neuronovým sítím řešit netriviální problémy při malém počtu neuronů. Jako standardní nelineární funkce se užívá sigmoida o parametrech strmosti (určující šířku pásma citlivosti neuronu na svůj aktivační potenciál) a prahové hodnoty (určující posunutí počátku funkce) spolu s jejími limitními tvary jako je linearita pro strmost blížící se nekonečnu a ostrá nelinearita pro strmost blížící se nule:

V levém sloupci sigmoida spolu se svými limitními případy, v pravém sloupci možné transformace dat přiváděných na vstupní resp. výstupní neurony.
pak a pro resp. pro dostaneme resp.

Volbou aktivační funkce neuronů vstupní resp. výstupní vrstvy neuronové sítě můžeme určit způsob transformace dat na síť přiváděných:

  • Sigmoida: - z ad 1) a ad 2) (viz níže) plyne

ad 1) z plyne

ad 2) z plyne

  • Gaussova křivka: - z plyne
  • Mexický klobouk: - uvedené transformaci resp. její nezáporné části odpovídají různá pásma citlivosti.

Parametry uvedených transformací mají následující význam:

ϑ – střední hodnota dat přiváděných na daný neuron z trénovací množiny

σ – směrodatná odchylka dat přiváděných na daný neuron z trénovací množiny

Kromě uvedených aktivačních funkcí se užívají ještě jejich různé modifikace:

  • Identita - linearita modifikovaná posunutím středu symetrie do počátku
  • Hyperbolická tangenta - rozšíření oboru hodnot sigmoidy na interval od -1 do +1
  • ReLU - složení ostré linearity (vlevo od počátku) s identitou (vpravo od počátku)
  • Radiální báze - Gaussova křivka resp. Mexický klobouk

ReferenceEditovat

  1. HAGAN, Martin T. Neural network design. druhé. vyd. [s.l.]: [s.n.], 2014. 800 s. Dostupné online. (anglicky) 

LiteraturaEditovat