전체 글37 신경망의 아키텍처 수정 신경망 양자화(Quantised Networks) 신경망 양자화는 딥 러닝 모델의 파라미터의 정밀도를 낮추는 방식으로 표현하는 기술을 말합니다. 일반적으로 딥 러닝 모델은 고정 소수점 또는 이진수로 파라미터를 표현하여 연산이 정밀도를 낮추는 방법을 사용합니다. 이렇게 함으로써 모델의 크기가 줄어드고, 연산에 드는 비용을 줄이고, 모바일 기기나 에지 디바이스 등에서 실행할 때 효율성을 높일 수 있습니다. 양자화는 크게 세 가지 유형으로 분류할 수 있습니다. 가중치 양자화 딥 러닝 모델의 가중치 파라미터를 낮은 비트 수로 표현하는 것입니다. 가장 일반적으로 사용되는 방법은 8비트 또는 4비트 정밀도로 가중치를 표현하는 것입니다. 가중치 양자화를 통해 모델의 크기를 크게 줄이고 메모리 사용량을 감소시킬 수 있.. 2023. 7. 28. Temporal Neural Network 시간적 신경망(Temporal Neural Network)은 순차적인 데이터나 시계열 데이터를 처리하기 위해 고안된 인공 신경망의 한 유형입니다. 이들은 특히 순차적 종속성과 시간적 동작을 가진 작업에 효과적으로 사용됩니다. 시간적 신경망의 핵심 특징은 재귀적인 연결(recurrent connections)의 존재이며, 이로 인해 정보가 지속적으로 저장되고 네트워크를 통해 시간에 걸쳐 전파될 수 있습니다. 이러한 특성으로 인해 과거 입력에 대한 메모리를 유지할 수 있어서 문맥을 파악하거나 순차적인 패턴을 잘 파악하는 데에 효과적입니다. 기본적인 시간적 신경망 구조는 "은닉 상태" 또는 메모리 셀"로 이루어지며, 새로운 입력이 처리될 때마다 각 시간 단계에서 업데이트됩니다. 각 시간 단계에서의 은닉 상태는.. 2023. 7. 27. 신경망과 확률2(볼츠만 머신, 베이지안) 볼츠만 머신(Boltzman Machine) 볼츠만 머신(Boltzman Machine)은 확류적인 그래프 모델 중 하나로, 에너지 함수를 이용하여 확률 분포를 표현하는 확률적인 모델입니다. 이 머신은 1985년에 제프리 힌튼(Geoffrey Hinton)과 테리 세이저(Terry Sejmowski)에 의해 소개되었습니다. 볼츠만 머신은 인공 신경망이 한 종류로 볼 수 있으며, 여러 개의 뉴런(유닛)으로 구성된 그래프 구조를 갖습니다. 이 그래프에서 뉴런들은 서로 연결되어 있고, 각 연결에는 가중치가 있습니다. 뉴런들은 두 가지 상태(활성화 또는 비활성화)를 가지고 있으며, 확률적인 방식으로 상태를 변경합니다. 볼츠만 머신은 확률적인 성질을 갖기 때문에 주어진 입력 데이터에 대해 확률 분포를 학습할 수 .. 2023. 7. 26. 신경망과 확률 1 신경망 확률 네트워크(Probabilistic Neural Network, PNN) 신경망 확률 네트워크(Probabilistic Neural Network, PNN)는 1990년대 초에 Donald Specht에 의해 개발된 비교적 오래된 인공 신경망의 한 종류입니다. PNN은 주로 패턴 분류에 사용되며, 지도학습(superised learning) 알고리즘에 속합니다. PNN은 주로 4개의 층으로 구성됩니다. 입력층(Input Layer) : 입력 데이터가 이 층으로 들어오며, 주어진 특징 벡터로 표현됩니다. 패턴층(Pattern Layer) : 학습 데이터의 특징 벡터들이 이 층으로 들어와서 저장됩니다. 이층에서는 학습 데이터의 통계적 특성을 파악하여 확률분포를 추정합니다. 은닉층(Hidden La.. 2023. 7. 25. 이전 1 2 3 4 5 6 7 8 ··· 10 다음