완전 무작위 마스킹을 넘어: 확산 언어 모델을 위한 어텐션 기반 디노이징 및 최적화

확산 대규모 언어 모델(dLLMs)은 병렬 디코딩을 통해 자기회귀 모델에 대한 효율적인 대안을 제공하지만, 기존의 사후 훈련 방법들은 내재된 토큰 의존성을 간과하는 데 주로 무작위 마스킹 전략에 의존합니다. 본 연구에서는 dLLM에서의 어텐션에 대한 경험적 분석을 제시하며, 마스크되지 않은 컨텍스트에 더 강하게 어텐션을 하는 토큰이 더 높은 생성 안정성을 보이고 추론에서 중요한 역할을 한다는 것을 보여줍니다. 이러한 발견에 영감을 받아, 우리는 훈련과 최적화 모두를 어텐션 기반 의존성과 일치시키는 어텐션 기반 디노이징 및 최적화 프레임워크인 AGDO를 제안합니다. AGDO는 어텐션 구조를 기반으로 디노이징 순서를 결정하고, 지도 미세 조정(supervised fine-tuning)과 강화 학습(reinforcement learning) 과정에서 어텐션에 중요한 토큰들을 강조합니다. 수학 및 코딩 벤치마크에서의 실험은 AGDO가 추론 성능을 일관되게 향상시키며, dLLM의 최첨단 사후 훈련 방법들보다 우수한 성능을 보임을 입증합니다.