Manifold-Aware Expert Evolution 을 통한 적응형 연속 모델 병합으로

연속 모델 병합 (Continual Model Merging, CMM) 은 집약적인 재학습 없이 작업별 모델을 통합된 아키텍처로 순차적으로 통합합니다. 그러나 기존 CMM 방법들은 근본적인 포화-중복 딜레마에 의해 제한됩니다: 백본 중심 (backbone-centric) 접근법은 고정된 용량 내에서 파라미터 포화 및 표현 간섭 (representation interference) 을 겪는 반면, Mixture-of-Experts (MoE) 변형은 무분별한 확장으로 인해 전문가 중복과 추가 데이터 기반 최적화에 의존하는 라우팅 병목 현상을 초래합니다. 이러한 과제를 해결하기 위해 우리는 본질적인 전문가 표현을 다양체 기하학 (manifold geometry) 에 근거하여 전문가 관리 및 활성화를 조율하는 적응형 CMM 방법인 MADE-IT (Manifold-Aware Dynamic Expert Evolution and Implicit rouTing) 을 제안합니다. 우리는 분포 인식적 적응 임계값 메커니즘과 결합된 투영 기반 서브스페이스 친밀도 (subspace affinity) 계량을 도입하여 자율적인 전문가 진화를 안내하고, 다양성과 아키텍처 간소화 (architectural parsimony) 를 조화시킵니다. 또한 파라미터화된 게이트 네트워크를 우회하기 위해 특징-서브스페이스 정렬 (feature-subspace alignment) 을 통해 전문가를 활성화하는 데이터 무용 (data-free) 및 학습 무용 (training-free) 명시적 라우팅 메커니즘을 설계했습니다. 광범위한 실험 결과, MADE-IT 는 장기 지평선 (long-horizon) 과 섞인 작업 시퀀스 (shuffled task sequences) 에서 정확도와 견고성 측면에서 강력한 베이스라인을 일관되게 능가하며, 특히 일반적 모듈과 초기 레이어 내에서 중복 전문가를 크게 가지르는 것으로 나타났습니다.