Multi-View MoE: 모든 라우터가 전문가 연산을 형성하게 하다

원문 발행 2026. 10. 30. 02:45원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

희소 전문가 혼합 모델(MoE)의 한계를 극복하기 위해 Multi-View MoE를 제안합니다. 이 방식은 다수의 라우터를 사용하여 전문가 선택 능력을 향상시키고, 라우팅 선호도를 재사용하여 고정된 예산 하에서 전문가 연산을 효율적으로 조절합니다. 이를 통해 모델의 전반적인 성능을 개선했습니다.

핵심 포인트

Multi-View MoE는 다중 라우터로부터 시그모이드 점수를 집계해 선택 능력을 향상시킵니다.
라우팅 선호도를 재사용하여 선택과 연산 모두에서 효율성을 높입니다.
708B 토큰으로 훈련된 모델에서 평균 성능을 기준선 대비 1.18%p 개선했습니다.
Multi-Router만 사용해도 전문가 유틸리티 순위 상관관계가 8.1% 증가하는 효과를 보였습니다.

희소 전문가 혼합 모델(Sparse mixture-of-experts, MoE)은 토큰당 소수의 전문가만을 활성화하여 매개변수 용량(parameter capacity)을 확장합니다. 전문가 선택은 고정된 활성 전문가 예산(active-expert budget) 하에서 모델의 역량에 직접적인 영향을 미칩니다. 모든 전문가를 밀도 있게 평가한 결과, 특히 중간 및 깊은 레이어에서는 단일 라우터 순위와 전문가 유틸리티 평가 순위 사이에 약한 일치도가 나타났습니다. 선택과 연산을 위한 더 풍부한 신호는 추가 비용을 발생시킵니다. 내부 전문가 활성화(internal expert activations)를 기반으로 한 선택은 예비 계산을 필요로 하며, 동일한 전문가를 통해 여러 전체 표현(full representations)을 개별적으로 처리하는 것은 연산을 반복하게 합니다. 우리는 Multi-View MoE를 제안하여 다수의 라우터를 사용해 전문가 선택 능력을 향상시키고, 이들의 선호도를 재사용하여 고정된 전문가 예산 하에서 전문가 연산을 조절합니다. 그 Multi-Router 서브모듈은 독립적으로 초기화된 여러 라우터로부터 시그모이드 점수(sigmoid scores)를 집계합니다. 이 라우터들은 훈련 과정 동안 매우 차별화된 전문가 선호도를 개발하며, 이는 한 라우터에 의해 강력하게 선호되거나 여러 라우터에 의해 공동으로 지원되는 전문가가 선택될 수 있게 합니다. Multi-View는 또한 각 선택된 전문가의 라우터 전반에 걸친 상대적 점수를 사용하여 학습된 잠재적 뷰(latent views)를 입력에 혼합합니다. 이는 선택과 연산 모두에서 라우팅 선호도를 재사용하는 방식입니다. 각 선택된 전문가는 순방향 패스(forward pass)를 한 번 실행하여 활성 전문가 수, 전문가 FLOPs, 그리고 모든-대-모든 통신량(all-to-all communication volume)을 유지합니다. 708B 토큰으로 훈련된 24개 레이어의 10B-A1B 모델에서, 전체 Multi-View MoE는 기준선 대비 9가지 태스크 다운스트림 평균 성능을 1.18 퍼센트 포인트 향상시킵니다. Multi-Router만 사용해도 0.6퍼센트 포인트의 이득을 얻었으며, 라우터 점수와 평가된 전문가 유틸리티 간의 순위 상관관계를 개선하여 전반적으로 8.1%의 상대적 증가를 보였고, 단일 라우터 정렬도가 가장 낮은 레이어에서는 약 58% 향상되었습니다. 제어된 혼합 개입(Controlled mixing interventions)은 모델이 전문가와 토큰 모두에 의존하는 입력 차이를 사용함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

Multi-View MoE: 모든 라우터가 전문가 연산을 형성하게 하다

요약

핵심 포인트

댓글