멀티 블록 확산 언어 모델 (Multi-Block Diffusion LMs)

요약

확산 언어 모델(Diffusion LMs)의 병렬 블록 디코딩을 가능하게 하는 사후 학습 레시피인 MBD-LMs를 소개합니다. 이를 통해 모델의 정확도를 높이는 동시에 디코딩 속도를 획기적으로 향상시켰습니다.

핵심 포인트

• MBD-LMs를 통한 확산 언어 모델의 병렬 블록 디코딩 구현
• MBD-LLaDA2-Mini 모델의 정확도 향상 (79.95% -> 81.03%)
• 디코딩 속도 78% 향상 및 처리량 개선
• DMax 사용 시 최대 9.34 tokens/forward 도달