재구성을 통한 기억하기: 비디오 스트림에서의 테스트 시간 훈련을 이용한 도메인 점진적 학습 (Domain Incremental Learning)
요약
비디오 스트림의 도메인 변화에 대응하기 위해 치명적 망각을 활용하는 새로운 도메인 점진적 학습 방식을 제안합니다. MAE 헤드와 도메인별 LoRA 어댑터를 결합하여, 테스트 시간 훈련을 통해 현재 입력에 가장 적합한 도메인을 식별하고 기억해냅니다.
핵심 포인트
- 치명적 망각을 피하는 대신 도메인별 LoRA 학습을 통해 활용함
- 자기지도 학습 기반의 Masked Autoencoder(MAE) 헤드 결합
- 테스트 시간 훈련(TTT)을 통한 최적의 LoRA 어댑터 식별
- 비디오 스트리밍과 같은 연속적 도메인 변화 환경에 최적화
본 연구에서는 진화하고 비정상적인 (non-stationary) 데이터에 맞춰 모델을 시간에 따라 적응시키는 도메인 점진적 학습 (Domain Incremental Learning)에 대한 새로운 접근 방식을 소개합니다. 다른 연구들과 달리, 우리는 치명적 망각 (catastrophic forgetting)을 피하려고 시도하는 대신, 이를 허용하고 오히려 활용합니다. 우리의 모델은 메인 태스크 헤드 (main task head)와 자기지도 학습 기반의 마스크 오토인코더 (self-supervised Masked Autoencoder, MAE) 헤드를 결합합니다. 그런 다음 점진적 훈련 (incremental training) 과정 동안 도메인 특화 LoRA 어댑터 (LoRA adapters)를 학습시킵니다. 각 어댑터는 해당 도메인에 특화되며, 두 헤드 모두에서 다른 도메인에 대한 망각을 자연스럽게 유도합니다. 추론 (inference) 시에는 자기지도 MAE 헤드에 대해 온라인 테스트 시간 훈련 (online test-time training)을 수행하여 어떤 LoRA가 현재 입력과 가장 잘 일치하는지 식별함으로써, 모델이 해당 도메인을 다시 '기억'할 수 있도록 합니다. 우리의 방식은 연속적인 샘플 간의 상관관계가 매우 높고 도메인 변화 (domain shifts)가 점진적으로 일어나는 비디오와 같은 실제 스트리밍 데이터에 특히 적합합니다. 우리는 도메인 점진적 행동 인식 (domain-incremental action recognition) 및 시맨틱 세그멘테이션 (semantic segmentation) 태스크를 통해 우리의 방법을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기