활성화 기능 - Activation function

물류 활성화 기능

에서는 인공 신경망활성화 기능 노드의 입력은 주어진 입력의 세트 또는 노드의 출력을 정의한다. 표준 집적 회로입력에 따라 "ON"(1) 또는 "OFF"(0)가 될 수있는 활성화 기능 디지털 네트워크 로 볼 수 있습니다. 이것은의 동작과 유사 선형 퍼셉트론신경 네트워크 . 그러나 비선형 활성화 함수 이러한 네트워크가 적은 수의 노드 만 사용하여 사소한 문제를 계산할 수 있도록 허용하며 이러한 활성화 함수를 비선형 성 이라고 합니다. [1]

기능

가장 일반적인 활성화 기능은 능선 기능 , 방사형 기능접기 기능의 세 가지 범주로 나눌 수 있습니다 .

능선 활성화 기능

능선 함수는 입력 변수의 선형 조합에 작용하는 일 변량 함수입니다. 자주 사용되는 예는 다음과 같습니다.

  • 선형 활성화 :,
  • ReLU 활성화 :,
  • 헤비 사이드 활성화 :,
  • 물류 활성화 :.

에서는 생물학적으로 영감 신경망 , 기동 기능의 속도를 나타내는 추상화 통상 동작 전위 셀의 소성. [2] 가장 간단한 형태로이 함수는 이진법입니다. 즉, 뉴런 이 발화하거나 발화하지 않습니다. 함수는 다음과 같습니다., 어디 는 IS 헤비 사이드 스텝 함수 .

입력 전류가 증가함에 따라 발생하는 발화 속도의 증가를 반영하기 위해 양의 기울기 라인을 사용할 수 있습니다. 이러한 기능은 다음과 같은 형식입니다..

생물학적 뉴런은 발사 속도를 0 이하로 낮출 수 없으므로 수정 된 선형 활성화 함수가 사용됩니다.. 의사 결정에 사용할 수있는 0에서 비선형 성을 도입합니다. [삼]

수정 된 선형 단위 및 가우스 오류 선형 단위 활성화 함수

뉴런은 또한 특정 속도보다 빠르게 발사 할 수 없어 도메인이 유한 한 간격 인 시그 모이 드 활성화 기능에 동기를 부여 합니다.

방사형 활성화 기능

RBF ( 방사형 기저 함수) 로 알려진 특수한 클래스의 활성화 함수 RBF 네트워크 에서 사용 되며 범용 함수 근사값으로 매우 효율적입니다. 이러한 활성화 기능은 여러 형태를 취할 수 있지만 일반적으로 다음 기능 중 하나로 찾을 수 있습니다.

  • 가우스 :
  • 다차 :
  • 역다 차법 :
  • 폴리 하모닉 스플라인

어디 함수 중심을 나타내는 벡터 이며 반경의 확산에 영향을 미치는 매개 변수입니다.

계산적으로 효율적인 방사 기저 함수가 제안되어있다, [4] RBF 커널 (기초 제곱 법칙이라고 SQ-RBF 가우시안 RBF 검색된 같이 지수 항을 제거한다).

  • SQ-RBF :

접기 활성화 기능

Folding activation functions are extensively used in the pooling layers in convolutional neural networks, and in output layers of multiclass classification networks. These activations perform aggregation over the inputs, such as taking the mean, minimum or maximum. In multiclass classification the softmax activation is often used.

Comparison of activation functions

다양한 활성화 기능이 있습니다. 자동 음성 인식에 관한 Hinton et al.의 2012 년 세미나 논문은 로지스틱 시그 모이 드 활성화 기능을 사용합니다. [5] 2012 년 알렉스 넷 컴퓨터 비전 아키텍처는 2015 년 컴퓨터 비전 아키텍처 ResNet 과 마찬가지로 ReLU 활성화 기능을 사용합니다 . 중요한 2018 년 언어 처리 모델 BERT 는 매끄러운 버전의 ReLU 인 GELU를 사용합니다. [6]

경험적 성능 외에도 활성화 함수는 다른 수학적 속성을 갖습니다.

비선형
When the activatiton function is non-linear, then a two-layer neural network can be proven to be a universal function approximator.[7] This is known as the Universal Approximation Theorem. The identity activation function does not satisfy this property. When multiple layers use the identity activation function, the entire network is equivalent to a single-layer model.
Range
When the range of the activation function is finite, gradient-based training methods tend to be more stable, because pattern presentations significantly affect only limited weights. When the range is infinite, training is generally more efficient because pattern presentations significantly affect most of the weights. In the latter case, smaller learning rates are typically necessary.[citation needed]
Continuously differentiable
This property is desirable (ReLU is not continuously differentiable and has some issues with gradient-based optimization, but it is still possible) for enabling gradient-based optimization methods. The binary step activation function is not differentiable at 0, and it differentiates to 0 for all other values, so gradient-based methods can make no progress with it.[8]
Monotonic
When the activation function is monotonic, the error surface associated with a single-layer model is guaranteed to be convex.[9]
Smooth functions with a monotonic derivative
These have been shown to generalize better in some cases.
Approximates identity near the origin
When activation functions have this property, the neural network will learn efficiently when its weights are initialized with small random values. When the activation function does not approximate identity near the origin, special care must be used when initializing the weights.[10] In the table below, activation functions where and and is continuous at 0 are indicated as having this property.

These properties do not decisively influence performance, nor are they the only mathematical properties that may be useful. For instance, the strictly positive range of the softplus makes it suitable for predicting variances in variational autoencoders.

다음 표는 이전 레이어에서 1 x 의 함수 인 여러 활성화 함수의 속성을 비교합니다 .

이름 음모 함수, 파생 상품, 범위 연속성 순서 단조로운 단조 유도체 원점 근처의 대략적인 정체성
정체 Activation identity.svg
이진 단계 Activation binary step.svg 아니 아니
로지스틱 , 시그 모이 드 또는 소프트 스텝 Activation logistic.svg [1] 아니 아니
Activation tanh.svg 아니
ReLU ( 정류 선형 장치 ) [11] Activation rectified linear.svg 아니
가우스 오차 선형 단위 (GELU) [6] Visualization of the Gaussian Error Linear Unit (GELU) 아니 아니 아니
Softplus [12] Activation softplus.svg 아니
지수 선형 단위 (ELU) [13] Activation elu.svg
매개 변수 포함
Iff Iff Iff
스케일링 된 지수 선형 단위 (SELU) [14]
매개 변수 포함
아니 아니
누수 정류 선형 장치 (Leaky ReLU) [15] Activation prelu.svg 아니
Parameteric rectified linear unit (PReLU)[16] Activation prelu.svg
with parameter
[2] Iff Yes Iff
ElliotSig,[17][18] softsign[19][20] Activation softsign.png Yes No Yes
Square nonlinearity (SQNL)[21] Activation tanh.svg Yes No Yes
S-shaped rectified linear activation unit (SReLU)[22]
where are parameters.
No No No
Bent identity Activation bent identity.svg Yes Yes Yes
Sigmoid linear unit (SiLU,[6] SiL,[23] or Swish-‍1[24]) Swish Activation Function No No For
Gaussian Activation gaussian.svg No No No
SQ-RBF SQ-RBF graph no range.png No No No
^ Here, is the logistic function.
^ for the range to hold true.

The following table lists activation functions that are not functions of a single fold x from the previous layer or layers:

Name Equation, Derivatives, Range Order of continuity
Softmax for i = 1, …, J [3][4]
Maxout[25]
^ Here, is the Kronecker delta.
^ For instance, could be iterating through the number of kernels of the previous neural network layer while iterates through the number of kernels of the current layer.

See also

References

  1. ^ Hinkelmann, Knut. "Neural Networks, p. 7" (PDF). University of Applied Sciences Northwestern Switzerland.
  2. ^ Hodgkin, A. L.; Huxley, A. F. (1952-08-28). "A quantitative description of membrane current and its application to conduction and excitation in nerve". The Journal of Physiology. 117 (4): 500–544. doi:10.1113/jphysiol.1952.sp004764. PMC 1392413. PMID 12991237.
  3. ^ Behnke, Sven (2003). Hierarchical Neural Networks for Image Interpretation. Lecture Notes in Computer Science. 2766. Springer. doi:10.1007/b11963. ISBN 978-3-540-40722-5. S2CID 1304548.
  4. ^ Wuraola, Adedamola; Patel, Nitish (2018), "Computationally Efficient Radial Basis Function", 2018 International Conference on Neural Information Processing (ICONIP), Siem reap Cambodia: Springer, pp. 103–112, doi:10.1007/978-3-030-04179-3_9
  5. ^ Hinton, Geoffrey; Deng, Li; Deng, Li; Yu, Dong; Dahl, George; Mohamed, Abdel-rahman; Jaitly, Navdeep; Senior, Andrew; Vanhoucke, Vincent; Nguyen, Patrick; Sainath, Tara; Kingsbury, Brian (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition". Cite journal requires |journal= (help)
  6. ^ a b c Hendrycks, Dan; Gimpel, Kevin (2016). "Gaussian Error Linear Units (GELUs)". arXiv:1606.08415 [cs.LG].
  7. ^ Cybenko, G. (December 1989). "Approximation by superpositions of a sigmoidal function". Mathematics of Control, Signals, and Systems. 2 (4): 303–314. doi:10.1007/BF02551274. ISSN 0932-4194. S2CID 3958369.
  8. ^ Snyman, Jan (3 March 2005). Practical Mathematical Optimization: An Introduction to Basic Optimization Theory and Classical and New Gradient-Based Algorithms. Springer Science & Business Media. ISBN 978-0-387-24348-1.
  9. ^ Wu, Huaiqin (2009). "Global stability analysis of a general class of discontinuous neural networks with linear growth activation functions". Information Sciences. 179 (19): 3432–3441. doi:10.1016/j.ins.2009.06.006.
  10. ^ Sussillo, David; Abbott, L. F. (2014-12-19). "Random Walk Initialization for Training Very Deep Feedforward Networks". arXiv:1412.6558 [cs.NE].
  11. ^ Nair, Vinod; Hinton, Geoffrey E. (2010), "Rectified Linear Units Improve Restricted Boltzmann Machines", 27th International Conference on International Conference on Machine Learning, ICML'10, USA: Omnipress, pp. 807–814, ISBN 9781605589077
  12. ^ Glorot, Xavier; Bordes, Antoine; Bengio, Yoshua (2011). "Deep sparse rectifier neural networks" (PDF). International Conference on Artificial Intelligence and Statistics.
  13. ^ Clevert, Djork-Arné; Unterthiner, Thomas; Hochreiter, Sepp (2015-11-23). "Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)". arXiv:1511.07289 [cs.LG].
  14. ^ Klambauer, Günter; Unterthiner, Thomas; Mayr, Andreas; Hochreiter, Sepp (2017-06-08). "Self-Normalizing Neural Networks". Advances in Neural Information Processing Systems. 30 (2017). arXiv:1706.02515. Bibcode:2017arXiv170602515K.
  15. ^ Maas, Andrew L.; Hannun, Awni Y.; Ng, Andrew Y. (June 2013). "Rectifier nonlinearities improve neural network acoustic models". Proc. ICML. 30 (1). S2CID 16489696.
  16. ^ He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015-02-06). "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". arXiv:1502.01852 [cs.CV].
  17. ^ Elliot, David L. (1993), "A better activation function for artificial neural networks", ISR Technical Report TR 93-8, University of Maryland, College Park, MD 20742., CiteSeerX 10.1.1.46.7204
  18. ^ "elliotsig, Elliot symmetric sigmoid transfer function", command introduced in Matlab R2012b, Matlab Documentation, MathWorks.
  19. ^ Bergstra, James; Desjardins, Guillaume; Lamblin, Pascal; Bengio, Yoshua (2009). "Quadratic polynomials learn better image features". Technical Report 1337". Département d’Informatique et de Recherche Opérationnelle, Université de Montréal. Archived from the original on 2018-09-25.
  20. ^ Glorot, Xavier; Bengio, Yoshua (2010), "Understanding the difficulty of training deep feedforward neural networks" (PDF), International Conference on Artificial Intelligence and Statistics (AISTATS'10), Society for Artificial Intelligence and Statistics
  21. ^ Wuraola, Adedamola; Patel, Nitish (2018), "SQNL:A New Computationally Efficient Activation Function", 2018 International Joint Conference on Neural Networks (IJCNN), Rio Rio de Janeiro, Brazil: IEEE, pp. 1–7
  22. ^ Jin, Xiaojie; Xu, Chunyan; Feng, Jiashi; Wei, Yunchao; Xiong, Junjun; Yan, Shuicheng (2015-12-22). "Deep Learning with S-shaped Rectified Linear Activation Units". arXiv:1512.07030 [cs.CV].
  23. ^ Elfwing, Stefan; Uchibe, Eiji; Doya, Kenji (2018). "Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning". Neural Networks. 107: 3–11. arXiv:1702.03118. doi:10.1016/j.neunet.2017.12.012. PMID 29395652. S2CID 6940861.
  24. Ramachandran, Prajit; Zoph, Barret; Le, Quoc V (2017). "활성화 기능 검색". arXiv : 1710.05941 [ cs.NE ].
  25. Goodfellow, Ian J .; Warde-Farley, David; Mirza, Mehdi; Courville, Aaron; Bengio, Yoshua (2013). "Maxout 네트워크". JMLR 워크숍 및 회의 절차 . 28 (3) : 1319–1327. arXiv : 1302.4389 . Bibcode : 2013arXiv1302.4389G .