GEM-FI: 피셔 조절을 활용한 게이트드 증거적 혼합 (Gated Evidential Mixtures with Fisher
요약
GEM-FI는 기존 증거 심층 학습(EDL)의 한계점인 과신 및 다중 모달 불확실성 표현 문제를 해결하기 위해 제안된 새로운 모델 계열입니다. 이 모델은 에너지 신호를 학습하고 이를 게이트드 증거 출력에 활용하며, 특히 피셔 정보 기반 정규화기를 추가하여 혼합 할당을 안정화하고 경계 불확실성을 개선합니다. 실험 결과, GEM-FI는 이미지 분류 및 OOD 탐지 벤치마크에서 기존 방법론 대비 높은 정확도 향상과 오분류 탐지 성능 개선을 입증했습니다.
핵심 포인트
- GEM-FI는 에너지 신호를 학습하고 이를 게이트드 증거 출력에 활용하는 모델 계열이다.
- 피셔 정보 기반 정규화기(Fisher Information)를 도입하여 혼합 할당의 안정성을 높이고 경계 불확실성을 개선했다.
- 다중 모달 에피스테믹 불확실성 포착을 위해 학습된 라우팅 가중치를 가진 증거적 헤드 혼합(GEM-MIX) 기능을 추가했다.
- CIFAR-10 분류 및 OOD 탐지 벤치마크에서 기존 방법론 대비 성능 향상(예: 정확도 +2.64 pp, AUPR 개선 등)을 보였다.
증거 심층 학습 (Evidential Deep Learning, EDL) 은 디리클레 증거를 예측함으로써 단 한 번의 전파로 불확실성을 추정할 수 있지만, 과신과 보정 부족 문제가 있으며 종종 다중 모달 에피스테믹 불확실성을 표현하지 못합니다. 우리는 GEM (Gated Evidential Mixtures) 을 소개합니다. 이는 모델 내 에너지 신호를 학습하고 이를 거리 기반 방식으로 게이트드 증거 출력에 종단내(end-to-end)로 활용하는 모델 계열입니다. GEM-CORE 는 특징 수준의 에너지를 학습하며 낮은 지지 (support) 시 증거를 부드럽게 억제하는 경계 (gate) 로 매핑합니다. 다중 모달 에피스테믹 불확실성을 포착하기 위해 단 한 번의 추론을 유지하면서 GEM-MIX 는 학습된 라우팅 가중치를 가진 경량 증거적 헤드의 혼합을 추가합니다. 마지막으로, GEM-FI 는 피셔 정보에 기반한 정규화기를 통해 혼합 할당을 안정화하고 헤드 붕괴를 줄이며 더 부드러운 경계 불확실성을 생성합니다. 이미지 분류 및 OOD 탐지 벤치마크에서 GEM 은 단 한 번의 추론으로 보정과 ID/OOD 분리를 개선했습니다. CIFAR-10 에서 GEM-FI 는 DAEDL 대비 정확도를 91.11% 에서 93.75% (+2.64 pp) 로 향상시키고, Brier x100 을 14.27 에서 6.81 (-7.46) 로 감소시키며, 오분류 탐지 AUPR 을 99.08 에서 99.94 (+0.86) 로 개선했습니다. 에피스테믹 OOD 탐지에서 GEM-FI 는 CIFAR-10 에서 SVHN 으로 92.59/95.09, CIFAR-10 에서 CIFAR-100 으로 90.20/89.06 의 AUPR/AUROC 를 달성하며 DAEDL 의 85.54/89.30 과 88.19/86.10 보다 우수한 성능을 보입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기