Octopus: 멀티모달 거대 언어 모델 (MLLMs)의 지속 학습 (Continual Learning)을 위한 이력 없는 그래디언트 직교화
요약
본 논문은 멀티모달 거대 언어 모델(MLLMs)의 지속 학습(Continual Learning) 문제를 해결하기 위해 Octopus라는 새로운 프레임워크를 제안합니다. 기존 방법들이 가진 계산 오버헤드, 데이터 저장 문제, 파라미터 간섭 등의 한계를 극복하고자 합니다. Octopus는 과거 태스크 데이터를 사용하지 않고도 그래디언트 수준의 직교성(Orthogonality)을 강제하는 이력 없는 그래디언트 직교화(HiFGO)를 기반으로 하며, 2단계 미세 조정 전략을 통해 모델의 가소성과 안정성을 효과적으로 균형 잡습니다.
핵심 포인트
- Octopus는 MLLMs의 지속 학습을 위한 새로운 프레임워크입니다.
- 과거 데이터를 저장할 필요 없이 그래디언트 직교성(HiFGO)을 강제하여 치명적 망각 문제를 완화합니다.
- 2단계 미세 조정 전략은 태스크 적응과 규제를 분리하여 가소성과 안정성의 균형을 달성합니다.
- UCIT 벤치마크에서 기존 SOTA 대비 평균 및 마지막 태스크 성능을 각각 2.14%, 6.82% 향상시켰습니다.
멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)에서의 지속 학습 (Continual Learning)은 치명적 망각 (Catastrophic Forgetting)을 완화하면서 지식을 순차적으로 습득하는 것을 목표로 하지만, 기존 방법들은 내재적인 한계에 직면해 있습니다. 아키텍처 기반 (Architecture-based) 접근 방식은 추가적인 계산 오버헤드 (Computational Overhead)를 발생시키고 새로운 태스크에 대한 일반화 성능이 떨어지는 경우가 많으며, 리허설 기반 (Rehearsal-based) 방식은 과거 데이터를 저장해야 하므로 개인정보 보호 및 저장 공간 문제를 야기합니다. 또한, 기존의 규제 기반 (Regularization-based) 전략만으로는 파라미터 간섭 (Parameter Interference)을 완전히 방지하기에 불충분합니다. 본 논문에서는 과거 태스크 데이터 없이도 그래디언트 수준의 직교성 (Orthogonality)을 강제하는 이력 없는 그래디언트 직교화 (History-Free Gradient Orthogonalization, HiFGO)에 기반한 2단계 지속 학습 프레임워크인 Octopus를 제안합니다. 우리가 제안하는 2단계 미세 조정 (Finetuning) 전략은 태스크 적응 (Task Adaptation)과 규제 (Regularization)를 분리하여, 가소성 (Plasticity)과 안정성 (Stability) 사이의 원칙적인 균형을 달성합니다. UCIT에 대한 실험 결과, Octopus는 Avg 및 Last 측면에서 이전의 SOTA (State-of-the-art)를 각각 2.14%와 6.82% 상회하며 최첨단 성능을 구축함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기