요약

DiffusionGemma는 26B MoE 모델로, 토큰 단위가 아닌 256개 블록으로 병렬 생성 방식을 채택하여 텍스트를 생성합니다. 이 방식은 GPU 환경에서 최대 4배 빠른 속도를 제공하며, 추론 시 활성화되는 파라미터는 3.8B에 불과합니다.

핵심 포인트

• DiffusionGemma는 26B MoE 모델을 사용합니다.
• 토큰 단위가 아닌 블록 병렬 생성 방식을 채택했습니다.
• GPU에서 최대 4배 빠른 텍스트 생성 속도를 자랑합니다.
• 추론 시 활성화 파라미터는 3.8B로 효율적입니다.