CLIP 모델 기반 메모리 효율적 지속 학습

요약

본 논문은 CLIP 모델이 새로운 데이터에 적응할 때 발생하는 재앙적 망각 문제를 해결하기 위한 메모리 효율적인 지속 학습 방법을 제안합니다. 기존 방식들이 메모리 버퍼 크기에 민감하고 이전 지식 손실을 초래하는 한계를 극복하고자 합니다. 연구진은 훈련 과정에서 각 클래스별로 손실을 동적으로 재가중치화하는 새로운 접근법을 제시하여, 최소한의 메모리 사용으로도 CLIP 모델의 성능 저하를 효과적으로 방지했습니다.

핵심 포인트

• CLIP 모델의 지속 학습(Continual Learning) 시 발생하는 재앙적 망각 문제를 해결하는 것이 목표입니다.
• 제안된 방법은 훈련 중 각 클래스별로 손실을 동적으로 재가중치화하여 메모리 효율성과 분포 견고성을 확보합니다.
• 이 접근법은 최소한의 메모리 사용으로도 CLIP 모델에 대한 빠른 적응과 높은 성능 유지(재앙적 망각 최소화)를 가능하게 합니다.
• CIFAR-100, ImageNet1K 및 DomainNet 등 다양한 클래스/도메인 점진적 설정에서 효과가 검증되었습니다.