화성화 함수(Activation Function)는 신경망에서 뉴런의 출력을 결정하는 함수로, 입력값의 가중치 합과 편향에 대한 비선형 변환을 수행합니다. 활성화 함수는 신경망의 비선형성을 표현하며, 모델의 표현력과 학습 능력에 큰 영향을 미칩니다.
1. 시그모이드 함수(Sigmoid Function)
시그모이드 함수는 주로 인공 신경망에서 사용되는 비선형 활성화 함수 중 하나입니다. 시그모이드 함수는 입력값을 받아서 0과 1 사이의 값으로 변환하는 함수로, S- 모양의 곡선을 가지기 때문에 "시그모이드"라는 이름이 붙었습니다.
시그모이드 함수는 다음과 같이 표현됩니다.
f(x)=1 / (1 + exp( -x ) )
여기서, f(x)는 입력 x에 대한 시그모이드 함수의 출력값을 의미합니다.
exp( -x )는 e(자연상수)의 -x승을 의미합니다.
e는 약 2.71828로, 자연의 지수 함수를 나타내는 상수입니다.
시그모이드 함수는 입력값 x를 받아서 0에서 1 사이의 값을 반환합니다. 입력이 음수일 경우 0에 가까운 값으로 수렴하고, 입력이 양수일 경우 1에 가까운 값으로 수렵합니다. 이러한 특성 때문에 주로 이진 분류 문제에서 출력층의 활성화 함수로 사용되었습니다.
시그모이드 함수의 장단점
출력값이 0과 1 사이로 제한되어 있기 때문에, 확률값으로 해석이 용이합니다. 미분이 가능하여 역전파 알고리즘과 같은 최적화 기법에 적용하기 쉽습니다. 하지만, 시그모이드 함수는 몇가지 단점도 가지고 있습니다.
입력이 크거나 작을 때 기울기가 매우 작아지는 기울기 소실 문제가 발생할 수 있습니다. 이로 인해 학습이 느려지거나, 극단적인 경우에는 학습이 거의 이루어지지 않을 수 있습니다. 출력값이 중심에서 멀어질수록 기울기가 0에 가까워지기 때문에, 이러한 지역에서는 가중치 업데이트가 거의 이루어지지 않아 학습이 어려울 수 있습니다.
이러한 문제로 인해 최근에는 ReLU(Rectified Linear Unit)와 같은 다른 활성화 함수들이 널리 사용되고 있으며, 특히 딥 러닝에서 시그모이드 함수는 일반적으로 출력층에서는 사용하지 않는 추세입니다. 그러나 과거에 인공 신경망에서 중요한 역할을 한 활성화 함수 중 하나로 기억되고 있습니다.
2. 하이퍼볼릭 탄젠틑 함수(Tanh Function)
하이퍼볼릭 탄젠트 함수(tanh 함수)는 시그모이드 함수와 유사하지만, 출력 범위가 -1에서 1 사이로 확장된 비선형 활성화 함수입니다. 시그모이드 함수가 0과 1 사이의 값을 반환하는데 반해, 하이퍼볼릭 탄젠트 함수는 -1과 1 사이의 값을 반환합니다.
하이퍼볼릭 탄젠트 함수는 다음과 같이 표현됩니다.
f(x) = (1 / (1 + exp( -2x) ) ) - 1
여기서, f(x)는 입력 x에 대한 하이퍼볼릭 탄젠트 함수의 출력값을 의미합니다.
exp(-2x)는 e (자연 상수)의 -2x승을 의미합니다.
e는 약 2.71828로, 자연의 지수 함수를 나타내는 상수입니다.
하이퍼볼릭 탄젠트 함수는 시그모이드 함수와 비슷한 S-모양의 곡선을 가지지만, 원점 (0,0)을 중심으로 대칭적으로 배치되어 있습니다. 따라서 입력이 음수일 경우 -1에 가까운 값으로 수렴하고, 입력이 양수일 경우 1에 가까운 값으로 수렵합니다. 이러한 특정으로 인해 입력의 스케일을 비선형으로 조정할 수 있습니다.
하이퍼볼릭 탄젠트 함수의 장점
출력 범위가 -1과 1 사이로 제한되어 있기 때문에, 입력 데이터의 스케일을 보존하면서 활성화 함수로 사용할 수 있습니다.
시그모이드 함수보다 더 넓은 범위의 출력을 제공하므로, 기울기 소실 문제가 발생할 가능성이 상대적으로 낮습니다. 하이퍼볼릭 탄젠트 함수는 종종 인공 신경망의 은닉층에서 사용되는 활성화 함수로 널리 사용됩니다. 하지만 최근에는 ReLU(Rectified Linear Unit)와 그 변형 함수들이 주로 사용되는 경향이 있으며, 특히 딥 러닝에서는 하이퍼볼릭 탄젠트 함수보다 ReLU 계열 함수가 더 선호되는 경우가 많습니다.
'인공지능 > 신경망' 카테고리의 다른 글
| 전이학습(Transfer Learning) (0) | 2023.07.19 |
|---|---|
| 활성화 함수 2 (0) | 2023.07.18 |
| GAN(Generative Adversarial Network) (0) | 2023.07.16 |
| 순환신경망(RNN), LSTM, GRU (0) | 2023.07.15 |
| 합성곱 신경망 (CNN) (0) | 2023.07.14 |
