지속적 모델 병합(Continual Model Merging)의 잠재력 해제: ODE 관점에서의 접근

요약

지속적 모델 병합(CMM) 과정에서 발생하는 성능 저하와 망각 문제를 해결하기 위해 ODE(상미분 방정식) 관점의 새로운 접근법인 ODE-M을 제안합니다. 기존 방식이 모델을 고립된 점으로 취급하는 한계를 넘어, 모드 연결성을 기반으로 손실 장벽을 피하며 파라미터 공간의 최적 경로를 추적합니다. 실험 결과, ODE-M은 주요 CMM 벤치마크에서 기존 모델들을 뛰어넘는 최첨단 성능을 입증했습니다.

핵심 포인트

• 기존 CMM 방식은 학습 용량 할당 제어가 어려워 순차적 병합 시 망각 현상이 누적됨
• 모델을 고립된 점이 아닌 파라미터 공간 내의 연결된 경로로 파악하는 것이 핵심
• ODE-M은 시간 의존적 속도장과 장벽 제약을 활용하여 손실을 최소화하는 경로를 추적함
• 모드 연결성(mode connectivity) 개념을 도입하여 낮은 손실을 유지하는 병합 경로를 구축함