Mixture-of-Expert Transformers의 태스크 라우팅을 위한 이론적 모델

Mixture-of-experts (MoE) 레이어는 추론 연산량을 고정하면서 트랜스포머 (Transformer) 모델의 스케일링을 가능하게 합니다. 최첨단 MoE 트랜스포머 모델에 대한 실증적 연구에서는 태스크-전문가 특화 (task-expert specialization) 현상이 관찰되었으나, 기존의 이론적 연구들은 자연어를 효과적으로 모델링할 수 없는 연속 혼합 모델 (continuous mixture models)을 사용하여 이를 분석해 왔습니다. 중요한 미해결 과제는 extit{언어의 이산 모델 (discrete models of language)을 사용하여 트랜스포머 MoE 모델의 태스크-전문가 특화를 이론적으로 설명하는 것}입니다. 이를 해결하기 위해, 우리는 구문 템플릿 (syntactic templates)과 유한한 키-값 사전 (key-value dictionaries)을 통해 구조화된 지식을 표현하며, 단일 레이어 MoE 트랜스포머가 해당 태스크에 특화된 전문가를 사용함으로써 지식을 인코딩할 수 있음을 공식적으로 증명합니다. 우리의 구성은 쿼리가 어떻게 고유하고 태스크 특화된 전문가에게 라우팅되는지를 보여주며, 이 전문가의 크기는 주어진 태스크의 내재적 복잡성(즉, 구문 템플릿과 사실적 사전의 결합된 크기)에만 의존합니다. 우리의 구성은 MoE 모델의 국소적 지식 회로 (localized knowledge circuits)에 대한 실증적 결과에 이론적 근거를 제공합니다. 우리는 다양한 MoE 손실 함수 (loss functions) 하에서 모델 성능을 평가하는 실험을 통해 이론적 발견을 뒷받침합니다.