Masked Diffusion 언어 모델을 위한 어텐션 할인 적응형 샘플러 (Attention-Discounted Adaptive

요약

Masked Diffusion 언어 모델의 병렬 디코딩 품질을 개선하기 위한 새로운 훈련 불필요 샘플러인 ADAS를 제안합니다. ADAS는 어텐션 점수를 소프트 마진 페널티로 활용하여 토큰 간 상호작용을 고려한 재순위화를 수행합니다. 실험 결과, 기존 샘플러 대비 낮은 NFE 환경에서 성능을 크게 향상시키면서도 오버헤드는 최소화했습니다.

핵심 포인트

• ADAS는 어텐션 기반의 소프트 마진 페널티를 사용하는 재순위화 규칙임
• 기존 샘플러와 결합 시 NFE 성능을 평균 9~10%p 향상
• 실행 시간 오버헤드는 회당 약 3.1%로 매우 낮음
• LLaDA-8B 및 Dream-7B 모델을 통해 성능 검증 완료