Tunable MAGMAX: 지속적 학습 (CL)을 위한 선호도 인식 모델 병합 (Preference-Aware Model Merging)

지속적 학습 (Continual Learning, CL)은 이전에 학습된 지식의 파괴적 망각 (Catastrophic Forgetting)을 완화하면서 여러 태스크에 대해 모델을 순차적으로 학습시키는 것을 목표로 합니다. 최근 거대 사전 학습 모델 (Large Pre-trained Models, LPMs)과 MAGMAX와 같은 모델 병합 (Model Merging) 기술의 발전은 태스크별 파라미터를 결합함으로써 효과적인 CL 성능을 입증해 왔습니다. 그러나 기존 방법들은 주로 모든 태스크에 걸친 평균 성능에 초점을 맞추고 있으며, 서로 다른 배포 환경이나 다양한 사용자 선호도를 수용하는 모델을 어떻게 구축할지에 대해서는 충분히 다루지 못하고 있습니다. 본 논문은 CL에서 태스크별 성능을 선호도에 따라 제어할 수 있게 하는 Tunable MAGMAX라고 명명된 모델 병합 프레임워크를 제안합니다. 우리의 방법은 모델 병합 과정에서 각 태스크 벡터로부터 선택되는 요소의 수를 제어하는 선호도 벡터 (Preference Vector)를 도입하여, 배포 요구 사항에 따라 병합된 모델의 성능을 조정할 수 있도록 합니다. 나아가, 우리는 소량의 타겟 환경 데이터와 모델 학습 태스크의 데이터셋을 활용하여 적절한 선호도 벡터를 자동으로 구축하는 방법을 제안함으로써, 수동 지정의 필요성을 제거합니다. CL 벤치마크 태스크에 대한 실험 결과는 Tunable MAGMAX가 태스크별 성능을 효과적으로 제어하고 병합된 모델을 다양한 타겟 환경에 성공적으로 적응시킨다는 것을 보여줍니다. 제안된 Tunable MAGMAX는 베이스라인 방법들과 비교하여 우수하거나 대등한 성능을 달성하며, 각 태스크 성능에 대한 선호도가 다른 다양한 환경에 CL 모델을 배포하기 위한 실용적인 솔루션이 됩니다.