DiffusionGemma: 토큰 단위가 아닌 256개 블록으로 병렬 생성하는 26B MoE 모델

요약

DiffusionGemma는 텍스트를 토큰 단위가 아닌 256개 블록으로 병렬 생성하는 26B MoE 모델입니다. 이 모델은 추론 시 활성 파라미터가 3.8B에 불과하여 GPU 환경에서 기존 대비 최대 4배 빠른 속도를 제공합니다.

핵심 포인트

• DiffusionGemma는 256개 블록으로 병렬 생성하는 MoE 모델입니다.
• 총 파라미터는 26B이나, 활성 파라미터는 3.8B에 불과합니다.
• GPU 추론 속도가 기존 대비 최대 4배 빠릅니다.