CLIP 모델 기반 메모리 효율적 지속 학습
요약
본 논문은 CLIP 모델이 새로운 데이터에 적응할 때 발생하는 재앙적 망각 문제를 해결하기 위한 메모리 효율적인 지속 학습 방법을 제안합니다. 기존 방식들이 메모리 버퍼 크기에 민감하고 이전 지식 손실을 초래하는 한계를 극복하고자 합니다. 연구진은 훈련 과정에서 각 클래스별로 손실을 동적으로 재가중치화하는 새로운 접근법을 제시하여, 최소한의 메모리 사용으로도 CLIP 모델의 성능 저하를 효과적으로 방지했습니다.
핵심 포인트
- CLIP 모델의 지속 학습(Continual Learning) 시 발생하는 재앙적 망각 문제를 해결하는 것이 목표입니다.
- 제안된 방법은 훈련 중 각 클래스별로 손실을 동적으로 재가중치화하여 메모리 효율성과 분포 견고성을 확보합니다.
- 이 접근법은 최소한의 메모리 사용으로도 CLIP 모델에 대한 빠른 적응과 높은 성능 유지(재앙적 망각 최소화)를 가능하게 합니다.
- CIFAR-100, ImageNet1K 및 DomainNet 등 다양한 클래스/도메인 점진적 설정에서 효과가 검증되었습니다.
대조적 언어-이미지 사전 학습 (Contrastive Language-Image Pretraining, CLIP) 모델은 이미지와 텍스트 간의 관계를 이해하는 데 탁월하지만, 새로운 데이터에 적응하면서 이전 지식을 잊지 않는 것은 어렵습니다. 이를 해결하기 위해 모델은 일반적으로 새로운 작업 데이터와 과거 작업의 메모리 버퍼를 모두 사용하여 미세 조정 (fine-tuning) 합니다. 그러나 CLIP 의 대조적 손실 (contrastive loss) 은 메모리 버퍼가 작을 때 고통받으며, 이전 작업에서의 성능 저하를 초래합니다. 우리는 훈련 중 각 클래스별로 손실을 동적으로 재가중치화하는 메모리 효율적이고 분포에 견고한 방법을 제안합니다. 우리의 접근법은 최소한의 메모리 사용에도 불구하고 CLIP 모델을 빠르게 적응시키면서 재앙적 망각 (catastrophic forgetting) 을 최소화하며, 클래스 점진적 설정 (CIFAR-100, ImageNet1K) 과 도메인 점진적 설정 (DomainNet) 에서 테스트되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기