드롭아웃2 신경망의 아키텍처 수정 신경망 양자화(Quantised Networks) 신경망 양자화는 딥 러닝 모델의 파라미터의 정밀도를 낮추는 방식으로 표현하는 기술을 말합니다. 일반적으로 딥 러닝 모델은 고정 소수점 또는 이진수로 파라미터를 표현하여 연산이 정밀도를 낮추는 방법을 사용합니다. 이렇게 함으로써 모델의 크기가 줄어드고, 연산에 드는 비용을 줄이고, 모바일 기기나 에지 디바이스 등에서 실행할 때 효율성을 높일 수 있습니다. 양자화는 크게 세 가지 유형으로 분류할 수 있습니다. 가중치 양자화 딥 러닝 모델의 가중치 파라미터를 낮은 비트 수로 표현하는 것입니다. 가장 일반적으로 사용되는 방법은 8비트 또는 4비트 정밀도로 가중치를 표현하는 것입니다. 가중치 양자화를 통해 모델의 크기를 크게 줄이고 메모리 사용량을 감소시킬 수 있.. 2023. 7. 28. 신경망과 확률 1 신경망 확률 네트워크(Probabilistic Neural Network, PNN) 신경망 확률 네트워크(Probabilistic Neural Network, PNN)는 1990년대 초에 Donald Specht에 의해 개발된 비교적 오래된 인공 신경망의 한 종류입니다. PNN은 주로 패턴 분류에 사용되며, 지도학습(superised learning) 알고리즘에 속합니다. PNN은 주로 4개의 층으로 구성됩니다. 입력층(Input Layer) : 입력 데이터가 이 층으로 들어오며, 주어진 특징 벡터로 표현됩니다. 패턴층(Pattern Layer) : 학습 데이터의 특징 벡터들이 이 층으로 들어와서 저장됩니다. 이층에서는 학습 데이터의 통계적 특성을 파악하여 확률분포를 추정합니다. 은닉층(Hidden La.. 2023. 7. 25. 이전 1 다음