지속적인 테스트 단계 적응을 위한 교사 모델의 소스 프리 제어 적응 (Source-Free Controlled Adaptation of
요약
배포 후 변화하는 데이터 분포에 대응하기 위해 소스 데이터 없이도 모델을 지속적으로 적응시키는 CTTA 기술을 제안합니다. 데이터 품질에 따라 모멘텀을 동적으로 조절하고 클래스 프로토타입을 활용하여 모델 드리프트 문제를 해결합니다.
핵심 포인트
- 소스 데이터 접근 없이 수행 가능한 진정한 Source-Free 방식 제안
- 데이터 품질에 따른 동적 모멘텀 설정을 통한 모델 드리프트 방지
- 소스 사전 학습 모델의 클래스 프로토타입을 활용한 타겟 데이터 정렬
- 기존 SOTA 프레임워크 대비 우수한 성능 입증
많은 실제 시나리오에서 추론(inference) 중에 도메인의 지속적인 변화를 마주하는 것은 매우 흔한 일입니다. 결과적으로, 교사-학생(teacher-student) 프레임워크를 활용하여 모델이 배포 후에도 지속적으로 적응할 수 있도록 하는 지속적인 테스트 단계 적응 (Continual Test-Time Adaptation, CTTA) 기술이 주목받고 있습니다. 이러한 프레임워크에서는 자기 학습 (self-training)을 위해 테스트 데이터로부터 의사 라벨 (pseudo-labels)을 생성하는 데 가중 평균된 평균 교사 (mean teacher)가 사용됩니다. 평균 교사는 서로 다른 테스트 데이터 분포를 마주하더라도 고정된 높은 모멘텀 (momentum) 값을 사용하여 학생 (student) 파라미터의 지수 이동 평균 (exponential moving average)으로서 업데이트됩니다. 이로 인해 발생하는 모델의 드리프트 (drift) 현상에 대응하기 위해, 우리는 유입되는 데이터의 품질에 따라 적절한 모멘텀 값을 동적으로 설정하는 새로운 제어된 교사 적응 (controlled teacher adaptation) 방법론을 제안합니다. 또한, 유입되는 타겟 데이터를 정렬하는 데 도움을 주기 위해 소스 사전 학습 모델 (source pretrained model)로부터 클래스 프로토타입 (class prototypes)을 추정합니다. 중요한 점은, 우리의 방법은 파이프라인의 어떤 단계에서도 소스 데이터나 그 통계치에 대한 접근을 요구하지 않으므로 진정한 의미의 소스 프리 (source-free) 방식이라는 것입니다. 우리는 벤치마크 데이터셋에 대해 광범위한 실험을 수행하여, 우리의 접근 방식이 소스 데이터에 대한 접근을 요구하는 많은 최첨단 (state-of-the-art) 적응 프레임워크들보다 뛰어난 성능을 보임을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기