Ramen: 혼합 도메인 환경을 위한 강력한 테스트 시간 적응 프레임워크

요약

CLIP과 같은 사전 학습된 비전-언어 모델(VLM)은 제로샷 일반화 능력이 뛰어나지만, 실제 환경의 분포 변화에 취약합니다. 기존 테스트 시간 적응(Test-Time Adaptation, TTA) 방법들은 단일 도메인 가정 하에 설계되어 혼합 도메인 데이터셋에서 성능 저하를 겪습니다. 본 논문은 'Ramen'이라는 프레임워크를 제안하며, 능동 샘플 선택(Active Sample Selection)을 통해 이러한 문제를 해결합니다. Ramen은 들어오는 테스트 샘플마다 두 가지 기준(도메인 일관성 및 예측 균형)에 따라 과거 데이터

핵심 포인트

• Ramen은 능동 샘플 선택을 활용하여 혼합 도메인 환경에서의 VLM 적응 성능을 강화했습니다.
• 적응 과정에서 '도메인 일관성'과 '예측 균형' 두 가지 기준을 적용하여 편향을 최소화합니다.
• 효율성을 위해 임베딩-그래디언트 캐시(embedding-gradient cache)를 도입, 추가적인 순전파/역전파 없이 모델 업데이트가 가능합니다.
• 다양한 이미지 손상 및 도메인 변화 벤치마크에서 Ramen이 강력하고 일관된 성능을 입증했습니다.