모델 붕괴 없는 엔트로피 최소화: 의료 영상에서의 예측 편향 완화

엔트로피 최소화 (Entropy Minimization, EM)는 테스트 시간 적응 (Test-time Adaptation)을 위한 지배적인 목적 함수이지만, 그 실패 모드인 모델 붕괴 (Model Collapse)는 여전히 제대로 이해되지 않은 상태로 남아 있습니다. 본 연구에서는 분포 변화 (Distribution Shifts)가 모델의 표현 공간 (Representation Space) 내에서 서로 다른 클래스에 해당하는 특징 클러스터 (Feature Clusters)들을 병합시키는 동시에 결정 경계 (Decision Boundary)는 고정된 상태로 유지될 수 있음을 보여줍니다. 이는 예측 클래스 분포에 체계적인 왜곡을 유발하며, 이를 예측 편향 (Prediction Bias)이라고 부릅니다. 예측 편향이란 일부 클래스는 과하게 표현되고 다른 클래스는 억제되는 예측 클래스 분포의 변화를 의미합니다. 우리는 엔트로피 최소화가 기존 클러스터를 더욱 조임으로써 이러한 예측 편향을 증폭시키고, 모든 예측이 사소한 해 (Trivial Solution)로 붕괴될 때까지 잘못된 그룹화를 강화한다는 것을 보여줍니다. 다음으로, 예측 편향의 중요성을 입증하고 이를 완화하기 위해, 우리는 비지도 엔트로피 최소화 손실 (Unsupervised Entropy Minimization Loss)에 대한 각 예측 클래스의 기여도를 균등하게 맞춤으로써 이 실패 모드를 구체적으로 겨냥하는 편향 수정 목적 함수인 분포 변화 편향 감소 (Distribution Shift Bias Reduction, DSBR)를 제안합니다. 이 실패 모드를 연구하기 위해, 우리는 4개의 의료 영상 데이터셋을 사용하여 적절한 적응 설정을 설계하였으며, 추가적으로 ImageNet-C에서 평가를 진행했습니다. 우리는 DSBR이 테스트 시간 적응을 일관되게 안정화하고, 모델 붕괴를 방지하며, 최첨단 (State-of-the-art) 방법들과 대등하거나 이를 능가하는 성능을 보임을 확인했습니다. 또한, DSBR은 오직 테스트 시간 (Test-time)에만 작동합니다.