Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Sonar-MoE는 MoE 모델의 메모리 효율적인 훈련을 위한 새로운 방법론입니다. 역전파 과정에서 각 전문가 텐서를 업데이트하고 즉시 기울기를 해제하여 GPU 메모리 사용량을 크게 줄였습니다. 이 방식은 표준 훈련과 동일한 성능을 유지하면서 속도 향상까지 가져옵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Mixture-of-Experts (MoE) 모델의 대부분 매개변수는 그 전문가(experts)에 속하며, 표준 훈련은 옵티마이저 단계까지 모든 전문가 기울기(gradient)를 GPU 메모리에 유지합니다. 이 메모리는 전문가의 수와 크기에 따라 증가하므로, MoE 모델이 확장됨에 따라 함께 증가합니다.
우리는 Sonar-MoE를 소개하며, 이는 역전파(backward pass) 동안 각 전문가 텐서(expert tensor)를 업데이트하고 즉시 그 기울기를 해제합니다. 이 방법은 밀집 모델(dense models)에서 온티마이저-인-백워드(optimizer-in-backward) 방식을 배치된 MoE 전문가 텐서에 적용하여, GPU가 한 번에 하나의 레이어 이상의 전문가 기울기를 보유하지 않도록 합니다.
두 개의 전문가 커널 백엔드(expert-kernel backends)를 사용하여 OLMoE-1B-7B와 Granite-3.1-3B-A800M을 bf16으로 미세 조정했을 때, Sonar-MoE는 최대 메모리 사용량을 19%에서 22% 낮춥니다. 그 업데이트 값은 전문가 기울기 클리핑(expert gradient clipping)이 없는 표준 훈련과 비트 단위로 동일하며, 홀드아웃 손실(held-out loss)은 모든 기준선 대비 0.003 이내를 유지합니다.
또한 각 단계는 글로벌-노름 클리핑(global-norm clipping)을 사용한 표준 훈련보다 17%에서 23% 더 적은 시간이 소요됩니다. Sonar-MoE가 빠른 이유는 개별 전문가 대신 전체 배치된 텐서(batched tensors)를 업데이트하기 때문인데, 이는 동일한 메모리를 사용하면서도 20%에서 72%의 속도 저하를 방지합니다.
Sonar-MoE는 여전히 밀집 매개변수(dense parameters)를 클리핑하면서도, 메모리와 속도 모두에서 모든 매개변수에 대한 온티마이저-인-백워드 방식을 구현합니다.