멀티모달 회귀 능동 학습을 위한 상호 정보량 하한 (A Mutual Information Lower Bound for Multimodal
요약
연속적인 회귀 작업에서 예측 분포가 멀티모달일 때 발생하는 인식론적 불확실성을 효과적으로 포착하기 위한 새로운 능동 학습 프레임워크를 제안합니다. Two-Index 프레임워크를 통해 인식론적 불확실성과 데이터 자체의 무작위성을 분리하며, Mixture Density Network 앙상블을 위한 상호 정보량 하한(MI-LB) 근사치를 도출하여 기존 베이스라인보다 뛰어난 성능을 입증했습니다.
핵심 포인트
- 멀티모달 회귀 분포에서 분산이나 기존 BALD 방식이 놓치는 모드 간 불일치 문제를 해결함
- 인식론적 원천과 데이터 무작위성을 분리하는 Two-Index 프레임워크 도입
- 연속적 출력에 대해 계산 가능한 상호 정보량 하한(MI-LB) 획득 함수 도출
- 기존의 기하학적 및 Fisher 기반 베이스라인 대비 멀티모달 환경에서 우수한 성능 확인
연속적인 회귀 (Continuous regression)를 위한 능동 학습 (Active learning)은 예측 분포가 멀티모달 (Multimodal)일 때 인식론적 불확실성 (Epistemic uncertainty)을 타겟팅하는 획득 함수 (Acquisition function)가 부족했습니다. 분산 (Variance)은 모드 간의 불일치 (Modal disagreement)를 놓치며, BALD와 같은 정보 이론적 타겟 (Information-theoretic targets)은 이산적 출력 (Discrete outputs)을 위해 설계되었습니다. 우리는 이러한 분리를 명시적으로 만드는 Two-Index 프레임워크를 소개합니다. 하나의 확률적 인덱스 (Stochastic index)는 경쟁하는 모델 가설들 사이에서 선택하며 (인식론적 원천, Epistemic source), 두 번째 인덱스는 가설 내의 무작위성 (Aleatoric source)을 제어합니다. 이 프레임워크 내의 엔트로피 분해 (Entropy decomposition)는 출력과 인식론적 인덱스 사이의 상호 정보량 (Mutual information)을 원칙적인 획득 목적 함수 (Acquisition objective)로 식별하며, 우리는 모델이 커지는 데이터셋으로 학습됨에 따라 이 양이 소멸함을 증명하여, 이것이 데이터가 해결할 수 있는 불확실성을 정확히 포착함을 확인합니다. 이 상호 정보량은 연속적 출력에 대해 다루기 어렵기 때문에(Intractable), 우리는 Mixture Density Network 앙상블을 위한 폐쇄형 근사치(Closed-form approximation)인 상호 정보량 하한 (Mutual Information Lower Bound, MI-LB) 획득 함수를 도출합니다. 멀티모달 시스템을 특징으로 하는 벤치마크에서 MI-LB는 평가된 모든 베이스라인 (Baseline)과 대등하거나 이를 능가하며, 일관되게 이를 달성하는 유일한 방법입니다. 기하학적 (Geometric) 및 Fisher 기반 베이스라인들은 입력 공간이 이미 멀티모달성을 인코딩하고 있을 때만 경쟁하며, 그렇지 않으면 성능이 무너집니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기