확률적 표현 학습을 위한 신경망 확률적 어텐션 회로 (NSAC)

연속 시간 (Continuous-Time, CT) 표현 학습에서 불확실성 추정치를 신뢰성 있게 정량화하는 것은 여전히 초기 단계에 머물러 있으며, 특히 CT 어텐션 (Attention) 아키텍처 내에서 더욱 그러합니다. 본 논문에서는 생물학적 영감을 받은 새로운 CT 어텐션 아키텍처인 Neuronal Stochastic Attention Circuit (NSAC)를 소개합니다. 이 아키텍처는 재구성된 C.elegans Neuronal Circuit Policies (NCPs) 배선 메커니즘에서 유도된 입력 의존적이고 비선형적으로 상호 연결된 게이트 (Gates)에 의해 조절되는 Ornstein-Uhlenbeck 확률 미분 방정식 (Stochastic Differential Equation, SDE)의 해로서 어텐션 로짓 (Attention Logit) 계산을 재정의합니다. 이는 로짓에 가우시안 분포 (Gaussian distribution)를 유도하며, 어텐션 가중치 (Attention weights)에 대한 로지스틱-정규 분포 (Logistic-normal distribution)를 통해 원칙적인 확률성을 전파하여 확률적 출력을 생성합니다. 가우시안 음의 로그 가능도 (Gaussian negative log-likelihood)와 인식론적 분리 정규화 항 (Epistemic-separation regularizer)을 결합한 이중 항 목적 함수는 더 높은 예측 분산을 강제하며, 우연적 불확실성 (Aleatoric uncertainty)과 인식론적 불확실성 (Epistemic uncertainty)의 공동 정량화를 가능하게 합니다. 실증적으로, 우리는 다음과 같은 다양한 학습 작업에 NSAC를 구현하였습니다: (i) 불규칙한 CT 함수 근사; (ii) 다변량 회귀 (Multivariate regression); (iii) 장기 예측 (Long-range forecasting); (iv) Industry 4.0; (v) 자율 주행 차량의 차선 유지. 우리는 NSAC가 정확도 측면에서 여러 베이스라인 (Baselines) 모델들과 경쟁력을 유지하면서도, 신경 세포 수준에서 해석 가능하며 상당히 잘 보정된 (Well-calibrated) 불확실성 추정치를 생성함을 관찰하였습니다.