Manifold-Aware Expert Evolution 을 통한 적응형 연속 모델 병합으로

요약

본 논문은 기존 연속 모델 병합(CMM)의 한계점인 파라미터 포화 및 표현 간섭 문제를 해결하기 위해 MADE-IT라는 적응형 CMM 방법을 제안합니다. MADE-IT는 다양체 기하학을 기반으로 전문가 관리와 활성화를 조율하며, 분포 인식적 임계값 메커니즘과 서브스페이스 친밀도 계량을 활용하여 자율적인 전문가 진화를 유도합니다. 또한 데이터 및 학습 과정 없이 특징-서브스페이스 정렬을 통해 전문가를 활성화하는 효율적인 라우팅 메커니즘을 제시함으로써, 장기 시퀀스 작업에서 높은 정확도와 견고성을 입증했습니다.

핵심 포인트

• MADE-IT는 다양체 기하학(manifold geometry)에 기반하여 모델 병합 과정에서 전문가의 관리 및 활성화를 수행하는 적응형 CMM 방법론입니다.
• 기존 CMM의 포화/중복 문제를 해결하기 위해 분포 인식적 임계값 메커니즘과 서브스페이스 친밀도 계량을 도입했습니다.
• 데이터 무용(data-free) 및 학습 무용(training-free) 명시적 라우팅 메커니즘을 설계하여, 게이트 네트워크의 한계를 극복하고 전문가 활성화를 수행합니다.
• 실험 결과, MADE-IT는 장기 지평선 및 섞인 작업 시퀀스에서 기존 베이스라인 대비 우수한 정확도와 견고성을 보여주었습니다.