희소하게 게이팅된 작은 선형 전문가 (Sparsely gated tiny linear experts)

희소성 (Sparsity)은 연산 비용을 비례적으로 증가시키지 않으면서 모델 파라미터를 확장할 수 있게 해줍니다. 전문가 혼합 (Mixture of Experts, MoE) 모델이 점점 더 희소해지고 있지만, 개별 전문가들은 일반적으로 크고 밀집된 (dense) 상태로 남아 있습니다. 본 연구에서는 각 전문가를 단일 뉴런으로 축소하고, 사용 가능한 수많은 뉴런 중 아주 적은 비율만을 선택함으로써 희소성을 더욱 높이는 것이 연산 효율성과 해석 가능성 (interpretability)을 향상할 수 있음을 입증합니다. 직관과는 반대로, 이 두 가지를 모두 달성하는 핵심은 전문가들에게 통상적으로 적용되는 비선형성 (nonlinearity)을 제거하는 것이며, 그 결과 희소하게 게이팅된 선형 뉴런 (sparsely gated linear neurons, sgatlin) 네트워크가 도출됩니다. 동일한 연산량 (isoflop) 비교에서, 모든 트랜스포머 피드포워드 (transformer feedforward) 층을 sgatlin으로 교체했을 때 다양한 연산 예산 (compute budgets)에 걸쳐 언어 모델의 퍼플렉시티 (perplexity)가 향상됨을 확인했습니다. 동시에, 결과적으로 생성된 피드포워드 회로 (feedforward circuits)의 희소성과 선형성은 모델 해석 가능성을 위한 새로운 기회를 제공합니다. 소규모 사례 연구를 통해, sgatlin의 피드포워드 회로는 추가적인 대체 모델을 학습시킬 필요 없이 해석될 수 있음을 보여줍니다. 우리는 이 회로들이 의미론적으로 구조화된 클러스터 (clusters)를 형성하며, 사실적 회상 (factual recall)에 인과적으로 관여한다는 것을 발견했습니다. 우리의 연구 결과는 연산 효율적이고 해석 가능한 트랜스포머 피드포워드 층을 향한 가능한 경로를 제시합니다.