FORGE: 희소 MoE 추론을 위한 절차적 가중치 생성

요약

FORGE는 희소 MoE(Mixture-of-Experts) 추론의 메모리 병목 현상을 해결하는 새로운 시스템입니다. 전문가 가중치 텐서를 HBM에 저장하고 로드하는 대신, 소형 가속기인 RGU를 사용하여 적은 시드로부터 실시간으로 재생성합니다. 이를 통해 처리량 향상과 KV 캐시 용량 확장이 가능하며, GPU 메모리 사용 효율성을 높입니다.

핵심 포인트

• HBM 기반 MoE 전문가 가중치 로딩 문제를 해결함.
• RGU(Rotor Generation Unit)를 이용해 실시간으로 가중치를 재생성하여 병목 현상을 해소.
• 시스템 처리량은 1.3-2.8배 향상되며, KV 캐시 용량도 확장됨.
• 가중치 대체 비율을 조절하여 정확도와 성능 간의 트레이드오프를 제어함.