역전파(Backpropagation)

신경망의 역전파(Backpropagation)는 인공신경망(ANN)에서 가중치(weight)와 편향(bias)을 최적화하는 데 사용되는 핵심 알고리즘입니다. 역전파는 주어진 입력에 대한 출력과 실제 목표값(또는 레이블) 사이의 오차를 최소화하기 위해 각 가중치와 편향을 조정하는 과정입니다.

 

출처 : https://blog.naver.com/jsminmin0712/223124118518

 

역전파 알고리즘

순전파(Forward Propagation)

먼저 입력 데이터가 신경망을 통과하며 순전파가 이루어집니다. 입력 데이터는 각 뉴런으로 전달되고, 가중치와 편향을 사용하여 활성화 함수를 거쳐 출력값을 계산합니다. 이 과정은 입력부터 출력까지 진행되며, 최종 출력을 얻습니다.

 

손실 함수 계산

순전파를 통해 얻은 출력값과 실제 목표값(레이블) 사이의 오차를 계산하기 위해 손실 함수(loss function)를 사용합니다. 일반적으로 평균 제공 오차(Mean Squared Error) 또는 교차 엔트로피(Cross-Entropy) 등의 손실 함수가 사용됩니다.

 

역전파

역전파는 손실 함수의 그래디언트(기울기)를 계산하고, 이를 사용하여 각 가중치와 편향에 대한 손실 함수의 편미분 값을 구합니다. 이를 통해 가중치와 편향을 조정하는 방향을 결정합니다.

 

경사 하강법(Gradient Descent)

역전파를 통해 얻은 가중치와 편향에 대한 편미분 값들을 사용하여 경사 하강법 또는 그래디언트 디센트 알고리즘을 적용하여 가중치와 편향을 업데이트합니다. 이는 손실 함수를 최소화하는 방향으로 가중치와 편향을 이동시킵니다.

 

반복

경사 하강법을 여러 번 반복하여 손실 함수를 최소화하는 최적의 가중치와 편향을 찾습니다. 이 과정을 통해 신경망이 주어진 데이터에 대해 더 나은 예측을 수행할 수 있도록 학습됩니다.

 

역전파는 주로 기울기를 계산하기 이해 역방향으로 오차를 전파하는 과정에서 발생합니다. 이러한 역전파 알고리즘의 발명은 인공신경망의 학습과 최적화에 큰 기여를 하였으며, 현대의 딥러닝에서도 매우 중요한 알고리즘 중 하나입니다.

 

손실함수(loss function)

딥러닝에서 손실함수(loss function)은 신경망 모델의 출력과 실제 목표값(레이블)사이의 차이를 측정하는 함수입니다. 이 손실함수의 값을 최소로 하는 것이 딥러닝 모델의 학습 목표이며, 이를 위해 역전파와 경사 하강법과 같은 최적화 알고리즘이 사용됩니다. 다양한 손실 함수가 있으며, 선택된 손실 함수는 문제의 특성과 목표에 따라 결정됩니다. 

 

일반적으로 사용되는 몇 가지 손실 함수는 다음과 같습니다.

 

평균 제곱 오차(Mean Squared Error, MSE)

MSE는 회귀 문제에 사용되는 손실 함수로, 신경망의 출력과 실제 값 사이의 평균 제곱 오차를 계산합니다.

MSE = ( 1/n ) * Σ(y_true - y_pred)^2

 

교차 엔트로피(Cross-Entropy)

교차 엔트로피는 분류 문제에 주로 사용되는 손실 함수로, 두 확률 분포 사이의 차이를 계산합니다. 이진 분류와 다중 클래스 분류에 모두 적용될 수 있습니다.

이진 분류 : Cross-Entropy =  -(y_true * log(y_pred) + (1 - y_true) * log(1 - y_pred) )

다중 클래스 분류 : Cross-Entropy =  -Σ(y_true * log(y_pred) )

 

로그 우도 손실(Log-Likelihood Loss)

로그 우도 손실은 주로 다중 클래스 분류 문제에서 사용되며, 각 클래스의 로그 우도를 계산합니다.

Log_Likelihood Loss = -Σ(y_true * logy_pred) )

 

힌지 손실(Hinge Loss)

힌지 손실은 주로 SVM(Support Vector Machine)과 관련된 문제에 사용되며, 분류 문제에서 사용됩니다. 주로 이진 분류에 적용됩니다. 

Hinge Loss = max(0, 1 - y_true * y_pred)

 

KL(Kullback-Leibler) 발산

KL 발산은 두 확률 분포 사이의 차이를 측정하는데 사용되며, 주로 생성모델(GANs 등)에서 사용됩니다. 

 

이외에도 많은 손실 함수들이 있으며, 특정 문제에 맞게 선택하는 것이 중요합니다. 딥러닝 모델은 이러한 손실 함수를 최소화하는 방향으로 학습되며, 이를 위해 역전파와 경사 하강법과 같은 최적화 알고리즘이 사용됩니다.