멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)에서의 지속 학습 (Continual Learning)은 치명적 망각 (Catastrophic Forgetting)을 완화하면서 지식을 순차적으로 습득하는 것을 목표로 하지만, 기존 방법들은 내재적인 한계에 직면해 있습니다. 아키텍처 기반 (Architecture-based) 접근 방식은 추가적인 계산 오버헤드 (Computational Overhead)를 발생시키고 새로운 태스크에 대한 일반화 성능이 떨어지는 경우가 많으며, 리허설 기반 (Rehearsal-based) 방식은 과거 데이터를 저장해야 하므로 개인정보 보호 및 저장 공간 문제를 야기합니다. 또한, 기존의 규제 기반 (Regularization-based) 전략만으로는 파라미터 간섭 (Parameter Interference)을 완전히 방지하기에 불충분합니다. 본 논문에서는 과거 태스크 데이터 없이도 그래디언트 수준의 직교성 (Orthogonality)을 강제하는 이력 없는 그래디언트 직교화 (History-Free Gradient Orthogonalization, HiFGO)에 기반한 2단계 지속 학습 프레임워크인 Octopus를 제안합니다. 우리가 제안하는 2단계 미세 조정 (Finetuning) 전략은 태스크 적응 (Task Adaptation)과 규제 (Regularization)를 분리하여, 가소성 (Plasticity)과 안정성 (Stability) 사이의 원칙적인 균형을 달성합니다. UCIT에 대한 실험 결과, Octopus는 Avg 및 Last 측면에서 이전의 SOTA (State-of-the-art)를 각각 2.14%와 6.82% 상회하며 최첨단 성능을 구축함을 보여줍니다.