[논문] Stepped MoE: 설정 가능한 추론 복잡도를 갖춘 세그먼트 레벨 라우팅

대규모 언어 모델(LLMs)을 훈련하는 것은 자원 집약적이며, 다양한 컴퓨팅 제약 조건을 가진 여러 배포 시나리오에 맞게 적응시키는 것은 여전히 어렵습니다. 탄성 아키텍처(elastic architectures)는 유연한 모델 배포를 가능하게 하고 희소 활성화 모델(sparsely activated models)은 입력에 적응하는 계산을 허용하지만, 기존 접근 방식들은 이 차원들을 독립적으로 다룹니다. 더욱이, 온디바이스 엣지 추론(on-device edge inference)을 위해 설계된 모델은 서비스 장치의 메모리 및 컴퓨팅 한계에 맞춰야 합니다. 본 논문에서는 탄성 구조와 희소 게이트 아키텍처를 결합하여 배포 제약 조건과 작업 요구 사항 모두에 동시에 적응하는 모델을 생성하는 통합 프레임워크를 소개합니다. 저희의 접근 방식은 컨텍스트와 목표 효율성 사양(target efficiency specifications) 모두에 조건을 거는 모델 백본(model backbone)을 사용하여, 추론 시 정확도-효율성 트레이드오프(accuracy-efficiency trade-off)에 대한 세밀한 제어를 가능하게 합니다. 이 모델은 탄성으로 중첩된 서브 네트워크(elastically-nested sub-networks) 내에서 작업 관련 매개변수를 활성화하도록 학습하여, 입력 적응형 라우팅을 유지하면서 단일 모델이 여러 용량 지점(capacity points)에 걸쳐 작동할 수 있도록 합니다. 실험을 통해 저희는 10억, 20억, 30억, 40억 개의 매개변수를 사용하는 유연성을 가지면서도 밀집된(dense) 대안보다 더 정확하고(지식 집약적 벤치마크에서 2-5% 향상), 정적 버전과 동등하면서도 밀집 모델과 유사한 지연 시간 측정치를 제공하는 모델을 만들 수 있음을 입증합니다. 전반적으로, 모델 매개변수를 공유함으로써 장치 디스크 공간을 절약하고, 사용 가능한 DRAM 및 컴퓨팅에 기반하여 서비스의 유연성을 확보하면서 더 정확한 결과를 제공할 수 있습니다. 논문: https://arxiv.org/abs/2610.07348 PDF: https://arxiv.org/pdf/2610.07348 /u/pmttyji가 제출함 [링크] [댓글]