인공지능/신경망19 역전파(Backpropagation) 신경망의 역전파(Backpropagation)는 인공신경망(ANN)에서 가중치(weight)와 편향(bias)을 최적화하는 데 사용되는 핵심 알고리즘입니다. 역전파는 주어진 입력에 대한 출력과 실제 목표값(또는 레이블) 사이의 오차를 최소화하기 위해 각 가중치와 편향을 조정하는 과정입니다. 역전파 알고리즘 순전파(Forward Propagation) 먼저 입력 데이터가 신경망을 통과하며 순전파가 이루어집니다. 입력 데이터는 각 뉴런으로 전달되고, 가중치와 편향을 사용하여 활성화 함수를 거쳐 출력값을 계산합니다. 이 과정은 입력부터 출력까지 진행되며, 최종 출력을 얻습니다. 손실 함수 계산 순전파를 통해 얻은 출력값과 실제 목표값(레이블) 사이의 오차를 계산하기 위해 손실 함수(loss function)를.. 2023. 7. 21. 트랜스포머(Transformer) 트랜스포머(Transformer)는 딥러닝에서 주로 자연어 처리(Natural Language Processing, NLP) 작업에 사용되는 인공 신경망 모델입니다. "Attention Is All You Need"라는 논문에서 처음 소개되었으며, 기존의 순차적인 아키텍처 대비하여 병렬 처리를 가능하게 하여 효율적으로 학습할 수 있는 장점이 있습니다. 이러한 특성으로 인해 트랜스포머는 대규모 자연어 처리 작업에 뛰어난 성능을 보입니다. 어텐션(Attention) 트랜스포머의 핵심 기술인 어텐션(Attention)은 입력 시퀀스의 다른 위치 간의 상호 의존성을 모델링하는 메커니즘입니다. 어텐션 메커니즘을 통해 트랜스포머는 입력 시퀀스의 모든 요소를 동시에 처리하며, 각 요소가 다른 요소들과 얼마나 관련이 .. 2023. 7. 20. 전이학습(Transfer Learning) 전이학습(Transfer Learning)은 기계 학습의 한 형태로, 한 작업에서 학습한 지식을 다른 유사한 작업에 적용하는 방법입니다. 이는 기존의 모델이나 학습된 지식을 새로운 작업을 수행하는 데에 활용하는 것을 의미합니다. 전이학습은 대량의 데이터를 사용하여 모델을 처음부터 학습시키는 대신, 이미 학습된 모델을 이용하여 새로운 작업에 적용하면서 소량의 데이터로도 높은 성능을 얻을 수 있게 해 줍니다. 전이학습의 주요 아이디어 사전 학습된 모델 활용 전이학습은 일반적으로 이미 많은 데이터셋에서 대규모로 학습된 모델을 사용합니다. 이러한 모델은 이미지 처리를 위해 주로 사용되는 대규모 신경망(CNN)이나 자연어 처리를 위해 사용되는 언어 모델과 같은 것들이 있습니다. 이러한 모델들은 이미 많은 데이터셋.. 2023. 7. 19. 활성화 함수 2 3. 렐루 함수(Rectifid Linear Unit, ReLU) ReLU(Rectifid Linear Unit) 함수는 인공 신경망에서 주로 사용되는 비선형 활성화 함수 중 하나로, 입력이 양수인 경우에는 입력 값을 그대로 출력하고, 음수인 경우에는 0으로 변환하는 함수입니다. 수식적으로는 다음과 같이 표현됩니다. f(x) = max(0, x) 여기서, f(x)는 입력 x에 대한 ReLU 함수의 출력값을 의미합니다. max(a, b)는 a와 b 중에서 큰 값을 반환하는 함수입니다. ReLU 함수는 입력이 0보다 작을 때 출력이 0이 되므로, 비선형적인 특성을 가집니다. 이러한 비선형성은 인공 신경망의 은닉층에서 주로 사용되는 활성화 함수로서 매우 중요합니다. 왜냐하면 선형 활성화 함수를 사용하면 여러 .. 2023. 7. 18. 이전 1 2 3 4 5 다음
