언제 커밋할지 학습하기: 빠른 확산 언어 모델을 위한 스케줄 증류

요약

본 논문은 확산 대규모 언어 모델(dLLMs)의 느린 디코딩 속도 문제를 해결하기 위해 'dSpark'라는 스케줄 증류 프레임워크를 제안합니다. dSpark는 토큰 커밋 시점을 학습하여 불확실성을 줄이고 병렬 샘플링을 가속화하는 것이 핵심입니다. 수학적 추론 및 코드 생성 작업에서 기존 모델 대비 높은 속도 향상을 입증했습니다.

핵심 포인트

• dLLMs의 효율적인 생성을 위해 토큰 커밋 시점 학습이 중요함.
• 'dSpark'는 스케줄 증류를 통해 병렬 샘플링을 가속화하는 프레임워크.
• 디코딩 초기에 불확실성을 줄이는 언마스킹 스케줄을 구성함.
• GSM8K 등에서 기존 모델 대비 높은 속도 향상을 달성했음.