분류 전체보기37 트랜스포머(Transformer) 트랜스포머(Transformer)는 딥러닝에서 주로 자연어 처리(Natural Language Processing, NLP) 작업에 사용되는 인공 신경망 모델입니다. "Attention Is All You Need"라는 논문에서 처음 소개되었으며, 기존의 순차적인 아키텍처 대비하여 병렬 처리를 가능하게 하여 효율적으로 학습할 수 있는 장점이 있습니다. 이러한 특성으로 인해 트랜스포머는 대규모 자연어 처리 작업에 뛰어난 성능을 보입니다. 어텐션(Attention) 트랜스포머의 핵심 기술인 어텐션(Attention)은 입력 시퀀스의 다른 위치 간의 상호 의존성을 모델링하는 메커니즘입니다. 어텐션 메커니즘을 통해 트랜스포머는 입력 시퀀스의 모든 요소를 동시에 처리하며, 각 요소가 다른 요소들과 얼마나 관련이 .. 2023. 7. 20. 전이학습(Transfer Learning) 전이학습(Transfer Learning)은 기계 학습의 한 형태로, 한 작업에서 학습한 지식을 다른 유사한 작업에 적용하는 방법입니다. 이는 기존의 모델이나 학습된 지식을 새로운 작업을 수행하는 데에 활용하는 것을 의미합니다. 전이학습은 대량의 데이터를 사용하여 모델을 처음부터 학습시키는 대신, 이미 학습된 모델을 이용하여 새로운 작업에 적용하면서 소량의 데이터로도 높은 성능을 얻을 수 있게 해 줍니다. 전이학습의 주요 아이디어 사전 학습된 모델 활용 전이학습은 일반적으로 이미 많은 데이터셋에서 대규모로 학습된 모델을 사용합니다. 이러한 모델은 이미지 처리를 위해 주로 사용되는 대규모 신경망(CNN)이나 자연어 처리를 위해 사용되는 언어 모델과 같은 것들이 있습니다. 이러한 모델들은 이미 많은 데이터셋.. 2023. 7. 19. 활성화 함수 2 3. 렐루 함수(Rectifid Linear Unit, ReLU) ReLU(Rectifid Linear Unit) 함수는 인공 신경망에서 주로 사용되는 비선형 활성화 함수 중 하나로, 입력이 양수인 경우에는 입력 값을 그대로 출력하고, 음수인 경우에는 0으로 변환하는 함수입니다. 수식적으로는 다음과 같이 표현됩니다. f(x) = max(0, x) 여기서, f(x)는 입력 x에 대한 ReLU 함수의 출력값을 의미합니다. max(a, b)는 a와 b 중에서 큰 값을 반환하는 함수입니다. ReLU 함수는 입력이 0보다 작을 때 출력이 0이 되므로, 비선형적인 특성을 가집니다. 이러한 비선형성은 인공 신경망의 은닉층에서 주로 사용되는 활성화 함수로서 매우 중요합니다. 왜냐하면 선형 활성화 함수를 사용하면 여러 .. 2023. 7. 18. 활성화 함수1 화성화 함수(Activation Function)는 신경망에서 뉴런의 출력을 결정하는 함수로, 입력값의 가중치 합과 편향에 대한 비선형 변환을 수행합니다. 활성화 함수는 신경망의 비선형성을 표현하며, 모델의 표현력과 학습 능력에 큰 영향을 미칩니다. 1. 시그모이드 함수(Sigmoid Function) 시그모이드 함수는 주로 인공 신경망에서 사용되는 비선형 활성화 함수 중 하나입니다. 시그모이드 함수는 입력값을 받아서 0과 1 사이의 값으로 변환하는 함수로, S- 모양의 곡선을 가지기 때문에 "시그모이드"라는 이름이 붙었습니다. 시그모이드 함수는 다음과 같이 표현됩니다. f(x)=1 / (1 + exp( -x ) ) 여기서, f(x)는 입력 x에 대한 시그모이드 함수의 출력값을 의미합니다. exp( -x.. 2023. 7. 17. 이전 1 ··· 4 5 6 7 8 9 10 다음
