멀티모달 회귀 능동 학습을 위한 상호 정보량 하한 (A Mutual Information Lower Bound for Multimodal

원문 발행 2026. 05. 14. 23:50원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

연속적인 회귀 작업에서 예측 분포가 멀티모달일 때 발생하는 인식론적 불확실성을 효과적으로 포착하기 위한 새로운 능동 학습 프레임워크를 제안합니다. Two-Index 프레임워크를 통해 인식론적 불확실성과 데이터 자체의 무작위성을 분리하며, Mixture Density Network 앙상블을 위한 상호 정보량 하한(MI-LB) 근사치를 도출하여 기존 베이스라인보다 뛰어난 성능을 입증했습니다.

핵심 포인트

멀티모달 회귀 분포에서 분산이나 기존 BALD 방식이 놓치는 모드 간 불일치 문제를 해결함
인식론적 원천과 데이터 무작위성을 분리하는 Two-Index 프레임워크 도입
연속적 출력에 대해 계산 가능한 상호 정보량 하한(MI-LB) 획득 함수 도출
기존의 기하학적 및 Fisher 기반 베이스라인 대비 멀티모달 환경에서 우수한 성능 확인

연속적인 회귀 (Continuous regression)를 위한 능동 학습 (Active learning)은 예측 분포가 멀티모달 (Multimodal)일 때 인식론적 불확실성 (Epistemic uncertainty)을 타겟팅하는 획득 함수 (Acquisition function)가 부족했습니다. 분산 (Variance)은 모드 간의 불일치 (Modal disagreement)를 놓치며, BALD와 같은 정보 이론적 타겟 (Information-theoretic targets)은 이산적 출력 (Discrete outputs)을 위해 설계되었습니다. 우리는 이러한 분리를 명시적으로 만드는 Two-Index 프레임워크를 소개합니다. 하나의 확률적 인덱스 (Stochastic index)는 경쟁하는 모델 가설들 사이에서 선택하며 (인식론적 원천, Epistemic source), 두 번째 인덱스는 가설 내의 무작위성 (Aleatoric source)을 제어합니다. 이 프레임워크 내의 엔트로피 분해 (Entropy decomposition)는 출력과 인식론적 인덱스 사이의 상호 정보량 (Mutual information)을 원칙적인 획득 목적 함수 (Acquisition objective)로 식별하며, 우리는 모델이 커지는 데이터셋으로 학습됨에 따라 이 양이 소멸함을 증명하여, 이것이 데이터가 해결할 수 있는 불확실성을 정확히 포착함을 확인합니다. 이 상호 정보량은 연속적 출력에 대해 다루기 어렵기 때문에(Intractable), 우리는 Mixture Density Network 앙상블을 위한 폐쇄형 근사치(Closed-form approximation)인 상호 정보량 하한 (Mutual Information Lower Bound, MI-LB) 획득 함수를 도출합니다. 멀티모달 시스템을 특징으로 하는 벤치마크에서 MI-LB는 평가된 모든 베이스라인 (Baseline)과 대등하거나 이를 능가하며, 일관되게 이를 달성하는 유일한 방법입니다. 기하학적 (Geometric) 및 Fisher 기반 베이스라인들은 입력 공간이 이미 멀티모달성을 인코딩하고 있을 때만 경쟁하며, 그렇지 않으면 성능이 무너집니다.

AI 자동 생성 콘텐츠

원문 바로가기

멀티모달 회귀 능동 학습을 위한 상호 정보량 하한 (A Mutual Information Lower Bound for Multimodal

요약

핵심 포인트

댓글