전문가 선택 편향을 통한 데이터 불균형 극복

Mixture-of-Experts (MoE) 모델은 최신 LLM의 표준 아키텍처가 되었습니다. 트랜스포머 블록 내의 여러 병렬 전문가들은 이론적으로 사전 학습 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 따라 전문가 특화를 가능하게 합니다. 하지만 데이터가 카테고리별로 불균형할 경우, 소수 카테고리는 적은 수의 전문가 풀에 집중되거나 비효율적으로 분산되어 가용 용량을 실질적으로 제한할 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(category-conditioned expert-selection biases)이 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 선호적으로 라우팅할 수 있음을 보여줍니다. 입력 카테고리를 기반으로 하는 편향을 적용함으로써, 부드러운 카테고리 정렬 특화(soft category-aligned specialization)를 유도하는 간단한 방법을 제공합니다. 이러한 개입은 카테고리들을 뚜렷한 전문가 하위 집단으로 유도하는 동시에, 필요할 때 교차 카테고리 공유를 유지하도록 장려합니다. 더욱 중요하게는, 데이터 부족으로 인해 어려움을 겪을 수 있는 카테고리에 전문가 용량을 초과 할당할 수 있게 합니다. 우리는 최대 10.6B 파라미터 모델에서 모달리티, 저자원 언어 및 코드 전반에 걸쳐 성능 향상을 관찰했습니다. 가장 작고 큰 모델 규모에서 이러한 이득은 각각 기준선(baseline) 추가 학습 토큰의 18.5%와 2.7%를 할당하는 것과 동등합니다. 전반적으로, 우리의 결과는 전문가 편향이 카테고리 수준의 전문가 할당을 위한 경량 제어 장치 역할을 하여, 표준 MoE 추론을 유지하면서 저자원 카테고리를 위한 공간을 확보할 수 있음을 보여줍니다.