Cord: 마스크드 디퓨전 언어 모델을 위한 신뢰도 기반 순서 잔차 디코딩

요약

마스크드 디퓨전 언어 모델(dLLMs)의 생성 품질 향상을 위해 'Cord'라는 경량 프롬프트 조건부 정책을 제안합니다. Cord는 신뢰도 기반에 기하학적 잔차를 추가하여 생성 방향과 컨텍스트 근접성을 학습하며, 이를 통해 디코딩 과정을 개선합니다. 이 방법은 기존 대비 평균 작업 성공률을 32.0%에서 48.2%로 향상시키며 효율적인 구조를 유지합니다.

핵심 포인트

• Cord는 신뢰도 기반에 기하학적 잔차를 도입하여 디코딩 성능을 개선함.
• 단일 저차원 계수 행렬 샘플링으로 상태 의존적 공개 궤적을 유도함.
• 평균 작업 성공률이 32.0%에서 48.2%로 향상됨 (벤치마크 기준).
• 추가 파라미터는 적고 추론 지연 시간 오버헤드가 낮음.