신경망의 아키텍처 수정

신경망 양자화(Quantised Networks)

신경망 양자화는 딥 러닝 모델의 파라미터의 정밀도를 낮추는 방식으로 표현하는 기술을 말합니다. 일반적으로 딥 러닝 모델은 고정 소수점 또는 이진수로 파라미터를 표현하여 연산이 정밀도를 낮추는 방법을 사용합니다. 이렇게 함으로써 모델의 크기가 줄어드고, 연산에 드는 비용을 줄이고, 모바일 기기나 에지 디바이스 등에서 실행할 때 효율성을 높일 수 있습니다.

 

양자화는 크게 세 가지 유형으로  분류할 수 있습니다.

 

가중치 양자화

딥 러닝 모델의 가중치 파라미터를 낮은 비트 수로 표현하는 것입니다. 가장 일반적으로 사용되는 방법은 8비트 또는 4비트 정밀도로 가중치를 표현하는 것입니다. 가중치 양자화를 통해 모델의 크기를 크게 줄이고 메모리 사용량을 감소시킬 수 있습니다.

 

양자화-aware 훈련

모델이 양자회된 상태에서도 정화도를 유지하도록 훈련하는 방법입니다. 일반적으로 양자화-aware 훈련은 가중치 양자화와 활성화 양자화를 함께 고려하여 모델을 훈련시킵니다.

 

양자화는 모델의 성능을 다소 저하시킬 수 있으며, 특히 정밀도를 매우 낮게 설정하면 성능 손실이 크게 발생할 수 있습니다. 따라서 양자화를 적용할 때에는 성능과의 균형을 잘 고려하여 적절한 양자화 설정을 선택하는 것이 중요합니다. 최근에는 연구와 기술 발전으로 양자화 기법이 더욱 효율적이고 성능을 유지하는 방향으로 발전하고 있습니다.

 

신경망 희소 네트워크(Sparse Neural Network)

신경망 희소 네트워크(Sparse Neural Network)는 딥 러닝 모델에서 특정 연결 또는 뉴런의 가중치를 0으로 만들어 네트워크 내에서 불필요한 연산을 제거하는 기술입니다. 이러한 희소성은 모델의 크기를 줄이고, 메모리 사용량을 감소시키며, 모델을 보다 효율적으로 만드는 데 도움이 됩니다.

 

희소 네트워크의 주요 아이디어는, 모든 가중치를 모두 사용하는 대신 특정 연결 또는 뉴런의 가중치를 0으로 만들어 뉴런 간의 연결을 제거하는 것입니다. 이를 통해 모델의 파라미터 개수가 크게 줄어들어, 훈련과 추론 단계에서의 연산량이 감소하게 됩니다. 희소 네트워크는 크게 두 가지 방법으로 구현할 수 있습니다.

 

구조적 희소성(Structural Sparsity)

특정 레이어 사이에 뉴런 또는 연결을 제거하여 희소성을 부여하는 방법입니다. 예를 들어, 특정 레이어의 출력 뉴런 중 가장 작은 가중치를 가진 뉴런들을 제거하는 방식이나, 특정 레이어 사이의 연결을 제거하는 방식이 구조적 희소성을 구현하는 예시입니다.

 

매개 변수 희소성(Parameter Sparsity)

희소 네트워크의 가중치 파라미터 중 일부를 0으로 만들어 희소성을 부여하는 방법입니다. 이는 일반적으로 가중치 양자화와 관련된 기법과 함께 사용되는 경우가 많습니다. 가중치 양자화를 통해 일부 가중치를 0으로 만들거나, 작은 가중치를 0으로 만들어 희소 네트워크를 구현합니다.

 

희소 네트워크는 작은 모델 크기와 높은 효율성을 제공하는 동시에, 일부 정보 손실이 발생할 수 있습니다. 따라서 모델의 희소성은 특히 중요한 트레이드오프를 가지고 있으며, 적절한 희소성 레벨을 선택하는 것이 필요합니다. 최근에는 희소 네트워크를 훈련하는 다양한 기술과 알고리즘이 개발되고 있어, 효율적인 희소 네트워크를 구축하고 사용하는 것이 가능해지고 있습니다.

 

압축 신경망(Compressed Neural Network)

압축 신경망(Compressed Neural Network)은 딥 러닝 모델의 크기를 줄이는 기술을 말합니다. 모델의 크기를 줄이는 것은 모바일 기기나 에지 디바이스에서 딥러닝 모델을 실행하는 데에 있어서 유용하며, 모델을 배포하거나 저장하는데 필요한 공간을 줄여줍니다.

 

압축 신경망은 크게 세 가지 주요 방법으로 구현될 수 있습니다.

 

파라미터 압축 

딥러닝 모델의 파라미터를 압축하는 방식입니다. 이 방법에는 가중치 양자화, 가중치 불규칙성, 가중치 프루닝(가중치 값이 작은 것들을 제거) 등이 포함됩니다. 가중치 양자화는 정밀도를 줄여 가중치를 표현하고, 가중치 불규칙성은 일부 가중치를 제거하여 모델의 크기를 줄이고, 가중치 프루닝을 작은 가중치를 제거하여 희소 네트워크를 만드는 것을 목표로 합니다.

 

레이어 압축

딥러닝 모델의 레이어를 압축하는 방식입니다. 이 방법은 이부 레이어를 제거하거나 레이어의 크기를 줄이는 등의 방법을 사용하여 모델의 크기를 줄입니다.

 

네트워크 구조 압축 

딥러닝 모델의 전체 구조를 변경하여 모델의 크기를 줄이는 방식입니다. 예를 들어, 특정 레이어를 병목 구조로 만들거나, 네트워크의 연결 패턴을 변경하여 모델의 파라미터를 줄일 수 있습니다.

 

압축 신경망은 희소 네트워크와 양자화와도 밀접한 관련이 있습니다. 희소 네트워크는 일부 가중치 또는 뉴런을 제거하여 모델의 크기를 줄이는 반면, 양자화는 파라미터의 정밀도를 낮추어 표현하는 방식으로 크기를 줄입니다. 이러한 압축 기술들은 효율적인 딥러닝 모델을 만들기 위해 종종 혼합하여 사용됩니다. 압축된 모델은 보다 적은 파라미터와 메모리 요구량으로도 일정 수준의 성능을 유지할 수 있으며, 실제로 실전에서 많이 사용되고 연구되는 분야입니다.

 

 

신경망의 드롭아웃(Dropout)

신경망의 드롭아웃(Dropout)은 딥러닝에서 과적합(Overfitting)을 방지하고 모델의 일반화 성능을 향상시키는 기술 중 하나입니다. 드롭아웃은 뉴런의 일부를 무작위로 선택하여 학습 과정에서 제거하는 것을 의미합니다.

 

드롭아웃은 훈련 단계에서만 적용되며, 각 학습 단계마다 무작위로 선택된 뉴런들을 제거합니다. 이렇게 함으로써, 각 뉴런들은 다른 뉴런들의 존재에 대해 의존성을 줄이게 되고, 뉴런들이 서로 독립적으로 학습되도록 유도합니다. 이는 과적합을 줄이고 모델의 일반화 능력을 향상시키는데 도움을 줍니다.

 

드롭아웃은 보통 특정 확률로 뉴런을 제거합니다. 가장 일반적으로는 0.2부터 .5 사이의 드롭아웃 확률이 사용되며, 뉴런의 제거는 학습마다 다르게 적용됩니다. 예를 들어, 드롭아웃 확률이 0.3인 경우, 각 뉴런이 해당 배치에서 드롭아웃 될 확률은 30%입니다.

 

드롭아웃은 신경망의 복잡도를 줄이고, 파라미너들의 공유를 강화하는 효과를 가지므로, 모델의 과적합을 방지하면서도 보다 강력한 모델을 만들 수 있습니다. 하지만 드롭아웃은 테스트 단계에서는 적용되지 않으며, 대신 전체 네트워크를 사용하여 추론을 수행합니다. 

 

드롭아웃은 2012년에 Geoffrey Hinton과 그 학생들이 제안한 기술로, 그 이후로 다양한 딥 러닝 모델에서 폭넓게 사용되고 있습니다.