딥러닝15 진화 알고리즘(Evolutionary Algorithm) 진화 알고리즘(Evolutionay Algorithm)진화 알고리즘(Evolutionay Algorithm)은 생물학적 진화의 개념을 모방하여 최적화 문제를 해결하는 컴퓨터 알고리즘입니다. 이 알고리즘은 자연 선택과 유전학적 변이를 활용하여, 해를 찾아가는 과정에서 최적해 또는 좋은 근사해를 찾는 데 사용됩니다. 주로 복잡하고 다양한 조건이 존재하는 최적화 문제에 적용됩니다. 진화 알고리즘의 기본 개념 유전자(Genes) : 해의 후보를 나타내는 개체들의 표현 방식을 말합니다. 보통 이진 문자여이나 실수 값들의 배열 등으로 표현됩니다. 적합도(Fitness) : 각 개체의 해의 후보들이 어마나 좋은지를 평가하는 함수입니다. 이 적합도 함수는 문제에 따라 다르며, 더 좋은 해의 후보에 더 높은 적합도 값을.. 2023. 7. 30. 연합학습/분산학습 연합학습(Federated Learning) 연합학습(Federated Learning)은 기계 학습 분야에서 개인 또는 분산된 디바이스들이 로컬 데이터에서 모델을 학습하고 중앙 어버와 통신하여 전체 모델을 개선하는 분산 학습 방법입니다. 이는 개인 데이터의 보안 및 개인 정보 보호를 유지하는 데 도움이 되며, 중앙 집중화된 데이터베이스를 요구하지 않아도 되어 네트워크 대역폭과 데이터 전송 비용을 절감할 수 있는 장점이 있습니다. 전통적인 기계 학습 방법은 중앙 서버에서 모든 데이터를 수집한 뒤에 모델을 학습하는 방식이었습니다. 하지만 이러한 방식은 개인 데이터를 중앙 서버로 보내기 때문에 개인 정보 보호의 문제와 데이터 전송의 부담을 초래합니다. 연합학습은 이러한 문제를 해결하기 위해 개발되었습니다. .. 2023. 7. 29. 신경망의 아키텍처 수정 신경망 양자화(Quantised Networks) 신경망 양자화는 딥 러닝 모델의 파라미터의 정밀도를 낮추는 방식으로 표현하는 기술을 말합니다. 일반적으로 딥 러닝 모델은 고정 소수점 또는 이진수로 파라미터를 표현하여 연산이 정밀도를 낮추는 방법을 사용합니다. 이렇게 함으로써 모델의 크기가 줄어드고, 연산에 드는 비용을 줄이고, 모바일 기기나 에지 디바이스 등에서 실행할 때 효율성을 높일 수 있습니다. 양자화는 크게 세 가지 유형으로 분류할 수 있습니다. 가중치 양자화 딥 러닝 모델의 가중치 파라미터를 낮은 비트 수로 표현하는 것입니다. 가장 일반적으로 사용되는 방법은 8비트 또는 4비트 정밀도로 가중치를 표현하는 것입니다. 가중치 양자화를 통해 모델의 크기를 크게 줄이고 메모리 사용량을 감소시킬 수 있.. 2023. 7. 28. Temporal Neural Network 시간적 신경망(Temporal Neural Network)은 순차적인 데이터나 시계열 데이터를 처리하기 위해 고안된 인공 신경망의 한 유형입니다. 이들은 특히 순차적 종속성과 시간적 동작을 가진 작업에 효과적으로 사용됩니다. 시간적 신경망의 핵심 특징은 재귀적인 연결(recurrent connections)의 존재이며, 이로 인해 정보가 지속적으로 저장되고 네트워크를 통해 시간에 걸쳐 전파될 수 있습니다. 이러한 특성으로 인해 과거 입력에 대한 메모리를 유지할 수 있어서 문맥을 파악하거나 순차적인 패턴을 잘 파악하는 데에 효과적입니다. 기본적인 시간적 신경망 구조는 "은닉 상태" 또는 메모리 셀"로 이루어지며, 새로운 입력이 처리될 때마다 각 시간 단계에서 업데이트됩니다. 각 시간 단계에서의 은닉 상태는.. 2023. 7. 27. 이전 1 2 3 4 다음
