LargeMonitor: 거대 사전 학습 모델을 통한 온라인 태스크 프리 지속 학습 (Task-Free Continual Learning)

온라인 태스크 프리 지속 학습 (Task-Free Continual Learning, TFCL)은 지능형 에이전트가 엄격한 단일 패스 (single-pass) 제약 조건 하에서, 어떠한 명시적인 태스크 식별자 없이도 무한하고 비정상적 (non-stationary)인 데이터 스트림으로부터 지식을 순차적으로 축적할 것을 요구합니다. 기존의 온라인 TFCL 패러다임은 주로 매개변수 효율적인 프롬프트 튜닝 (prompt tuning) 또는 경험적 손실 (empirical loss) 변동이나 진화하는 잠재 거리 (latent distances)와 같은 학습 결합형 최적화 역학에 의해 구동되는 동적 구조 확장 (dynamic structure expansion)에 의존합니다. 그 결과, 이러한 학습 결합형 솔버 (solvers)들은 분포 드리프트 (distribution drift)의 구조적 기원에 대해 알지 못하며, 근본적으로 다른 스트리밍 변동에 대해 기계적으로 고정된 전략을 강요합니다. 이러한 격차를 해소하기 위해, 우리는 거대 사전 학습 파운데이션 모델 (large pretrained foundation models)을 활용하여 태스크 프리 연속 적응을 자율적으로 조율하는 프레임워크인 LargeMonitor를 제안합니다. 구체적으로, LargeMonitor는 거대 시각 모델 (Large Vision Models, LVMs)의 동결된 안정적 표현 공간 (frozen, stable representation space)을 활용하는 분리된 탐지 모듈을 도입하여, 학습 의존적인 간섭이나 취약한 임계값 튜닝 (threshold tuning) 없이도 견고한 제로샷 (zero-shot) 드리프트 탐지를 달성합니다. 드리프트가 확인되면, 이 프레임워크는 거대 멀티모달 모델 (Large Multimodal Models, LMMs)에 의해 구동되는 문맥 인식 진단 모듈을 활성화하여 스트림 변동의 정확한 의미론적 원인 (예: 새로운 클래스의 출현 vs. 환경적 도메인 변화)을 해석합니다. 이러한 이중 단계 능력은 지속 학습 모델이 적응형 및 변화 특화형 최적화 전략을 동적으로 배치할 수 있도록 지원합니다. 다양한 TFCL 설정 및 벤치마크에 걸친 광범위한 실험을 통해, LargeMonitor가 복잡한 데이터 스트림에 대해 정밀하고 견고한 탐지 및 진단을 수행하는 동시에 기존 온라인 TFCL 알고리즘의 성능을 일관되게 향상시킨다는 것을 입증하였습니다.