Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 모델 병합(Model merging) 시 개별 전문가들을 재훈련 없이 결합하는 방법론을 다룹니다. 기존에는 모든 전문가가 동일한 LoRA 랭크로 훈련되어야 한다는 관행이 있었으나, 본문은 이러한 연결성이 필수적이지 않음을 입증했습니다. 각 도메인별 최적 랭크를 독립적으로 사용해도 높은 다중 도메인 정확도를 유지할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기모델 병합(Model merging)은 개별적으로 미세 조정된 전문가들(experts)을 재훈련 없이 단일 모델로 결합합니다. 표준 관행은 모든 전문가를 동일한 LoRA 랭크에서 훈련시키는데, 이는 각 도메인이 자체 최적의 랭크를 가지고 있음에도 불구하고 전문가 전반에 걸쳐 랭크 선택을 연결시킵니다(couples). 우리는 이러한 연결성이 병합 방법론의 특성이지, 병합 과정 자체의 특성은 아님을 보여줍니다.
우리는 세 가지 도메인(수학, 지침 따르기(instruction following), 다국어)에서 36개의 전문가를 네 가지 랭크와 세 가지 모델 스케일로 훈련시킨 후, 균일한 랭크 및 각 도메인의 자체 최적 랭크에서 여섯 가지 방법으로 병합했습니다. 전문가들에게 다른 랭크를 부여하는 것은 평균화(averaging) 및 유틸리티 기반 선택(utility-based selection) 방식에 아무런 비용도 들지 않으며, 최대 1.8 pp의 다중 도메인 정확도를 얻는 반면, 충돌 해결 방법론은 일관성이 없고 최대 4 pp를 손실할 수 있습니다.
이러한 차이는 간단한 원인에 기인합니다. 병합은 풀링된 스펙트럴 컴포넌트(spectral components)의 고정된 일부만을 유지하며, 크기별로 이를 선택하는 방법들은 손실을 줄였을 많은 요소들을 버립니다. 또한 이들은 동일한 전문가를 버리는 경향이 있습니다: instruction adapter는 가장 작은 특이값(singular values)을 가지므로 거의 완전히 제거되며, 그 결과 IFEval은 16~25 pp 하락합니다.
대신 손실에 미치는 영향으로 컴포넌트를 선택하는 방식은 세 전문가 모두를 유지시키고, 8$ imes$ 랭크 범위에 걸쳐 정확도를 거의 평탄하게 유지합니다(4B 스케일에서 TIES의 경우 6.7 pp 대비 0.7 pp). 따라서 병합 연산자(merge operator)가 크기별로 선택하지 않는 한, 전문가별로 랭크를 선택할 수 있습니다.