완전 무작위 마스킹을 넘어: 확산 언어 모델을 위한 어텐션 기반 디노이징 및 최적화

요약

본 연구는 확산 대규모 언어 모델(dLLMs)의 한계를 분석하고, 기존 무작위 마스킹 전략 대신 어텐션 기반 디노이징 및 최적화 프레임워크인 AGDO를 제안합니다. AGDO는 토큰 간의 어텐션 의존성을 활용하여 훈련과 최적화 과정을 개선하며, 추론 성능 향상에 기여함을 입증했습니다.

핵심 포인트

• dLLMs는 자기회귀 모델 대비 효율적인 대안을 제공함.
• 기존 방법은 토큰 의존성을 간과하고 무작위 마스킹에 의존함.
• AGDO는 어텐션 구조 기반으로 디노이징 및 최적화 순서를 결정함.
• 실험 결과, AGDO가 dLLM의 추론 성능을 효과적으로 향상시킴.