모델 병합이 라우팅을 망칠 때: MoE를 위한 훈련 없는 보정 (Training-Free Calibration)

모델 병합 (Model merging)은 재학습 없이 여러 LLM (Large Language Models)의 능력을 통합할 수 있는 비용 효율적인 접근 방식으로 부상했습니다. 그러나 선형 파라미터 산술 (linear parameter arithmetic) 또는 최적화 (optimization)에 주로 기반한 기존의 병합 기술은 Mixture-of-Experts (MoE) 구조에 적용될 때 어려움을 겪습니다. 우리는 MoE 병합에서 병합된 라우터 (router)가 토큰을 적절한 전문가 (experts)에게 전달하지 못하는 '라우팅 붕괴 (routing breakdown)'라고 불리는 결정적인 실패 모드를 식별했습니다. 라우팅 붕괴는 비선형 소프트맥스 (non-linear softmax) 및 이산적 Top-k 라우팅 (discrete Top-k routing) 메커니즘이 병합으로 인한 파라미터 섭동 (parameter perturbations)에 민감하기 때문에 발생하며, 이러한 민감도는 MoE 사전 학습 (pretraining) 중에 부과된 부하 분산 (load-balancing) 제약 조건에 의해 더욱 증폭됩니다. 미세 조정된 전문가들은 뚜렷한 전문성을 나타내기 때문에, 아주 작은 오라우팅 (misrouting)조차 심각한 성능 저하를 초래할 수 있습니다. 이 문제를 해결하기 위해, 우리는 2차 곡률 정보 (second-order curvature information)를 활용하여 병합된 라우터를 재정렬하는 훈련 없는 프레임워크인 Hessian-Aware Router Calibration (HARC)을 제안합니다. 이 접근 방식은 행렬 프리 켤레 기울기법 (matrix-free conjugate gradient method)을 사용하여 효율적으로 해결할 수 있는 폐쇄형 해 (closed-form solution)를 허용합니다. 수학적 추론 및 코드 생성 작업에 대한 실험 결과, HARC는 다양한 MoE 병합 베이스라인 전반에서 라우팅 붕괴를 효과적으로 완화하고 상당한 성능 향상을 이끌어냄을 보여줍니다. 우리의 코드는 https://github.com/huangcb01/HARC 에서 확인할 수 있습니다.