신경망과 확률2(볼츠만 머신, 베이지안)

볼츠만 머신(Boltzman Machine)

볼츠만 머신(Boltzman Machine)은 확류적인 그래프 모델 중 하나로, 에너지 함수를 이용하여 확률 분포를 표현하는 확률적인 모델입니다. 이 머신은 1985년에 제프리 힌튼(Geoffrey Hinton)과 테리 세이저(Terry Sejmowski)에 의해 소개되었습니다.

 

볼츠만 머신은 인공 신경망이 한 종류로 볼 수 있으며, 여러 개의 뉴런(유닛)으로 구성된 그래프 구조를 갖습니다. 이 그래프에서 뉴런들은 서로 연결되어 있고, 각 연결에는 가중치가 있습니다. 뉴런들은 두 가지 상태(활성화 또는 비활성화)를 가지고 있으며, 확률적인 방식으로 상태를 변경합니다.

 

볼츠만 머신은 확률적인 성질을 갖기 때문에 주어진 입력 데이터에 대해 확률 분포를 학습할 수 있습니다. 이러한 확률 분포를 통해 머신은 입력 데이터를 잘 모사하거나 생성할 수 있습니다. 볼츠만 머신은 학습 과정에서 특별한 알고리즘인 "교대 최적화(Contrastivd Divergence)"를 사용하여 학습됩니다.

 

하지만 볼츠만 머신은 꽤 깊은 구조로 인해 학습이 어려웠고, 특히 복잡한 데이터셋에서는 성능이 좋지 않을 수 있습니다. 이런 이유로 현대적ㅇ니 딥러닝 모델의 발전과 함께 볼츠만 머신은 주로 연구나 특정한 응용 분야에서 사용되고 있습니다. 특히 변형 모델인 "제한된 볼츠만 머신(Restricted Boltzmann Machine, RBM)"은 깊은 신경망(DNN) 구조의 초기화나 차원 축소 등에 사용되는데, 이러한 분야에서 일부 유용한 특성을 가지고 있습니다.

베이지안

"베이지안"은 확률과 통계 이론에서 중요한 개념을 의미합니다. 베이지안 접근법은 통계적 추론과 머신 러닝에 널리 사용되는 방법론 중 하나로, 확률적인 방법을 사용하여 불확실성을 모델링하고 추론하는 방법입니다.

 

주요 특징

 

사전 확률(Prior Probability)

베이지안 접근법에서는 모델링하고자 하는 불롹실성에 대해 사전 지식을 확률적으로 표현하는 사전 확률을 사용합니다. 이 사전 확률은 사전에 관측된 데이터나 도메인 전문가의 지식을 바탕으로 결정될 수 있습니다.

 

우도(Likelihood)

주어진 사전 확률과 새로운 데이터의 발생 확률을 통해 주어진 데이터가 주어진 모델에 의해 얼마나 가능한지ㅡㄹ 측정하는 우도를 계산합니다.

 

사후 확률(Posterior Probability)

사전 확률과 우도를 조합하여 새로운 데이터를 기반으로 모델의 매개변수나 불확실성을 업데이트하는 사후 확률을 계산합니다. 이를 통해 데이터에 대한 새로운 정보를 반영하여 더 정확한 추론을 수행할 수 있습니다.

 

베이즈 정리(Bayes' Theorem)

베이지안 접근법은 베이즈 정리를 기반으로 합니다. 베이즈 정리는 사전 확률과 우도를 통해 사후 확률을 계산하는데 사용됩니다.

 

베이지안 접근법은 불확실성을 다루는 데 강력한 도구로서, 작은 데이터셋이나 불완전한 정보를 가지고 있을 때 유용합니다. 또한, 베이지안 접근법은 많은 확률적 모델과 머신 러닝 알고리즘을 개발하는 데에 사용되고 있으며, 확률적 추론, 매개변수 추정, 모델 선택 등의 다양한 문제에 적용됩니다.