이산 확산 언어 모델을 위한 평균장 병렬 디코딩 (Mean-Field Parallel Decoding)

이산 확산 언어 모델 (Discrete diffusion language models)은 병렬 토큰 생성을 가능하게 하여 저지연 디코딩 (low-latency decoding)을 위한 경로를 제공합니다. 그러나 주변부 신뢰도 (marginal confidence)에 따라 토큰을 독립적으로 선택하는 것은 효과적인 병렬성을 제한합니다. 즉, 개별적으로는 신뢰할 수 있어 보이는 토큰들이 여러 위치가 동시에 업데이트될 때 서로 호환되지 않는 구성을 형성할 수 있습니다. 우리는 이러한 병렬 업데이트를 조정하는 훈련이 필요 없는 (training-free) 디코딩 프레임워크를 소개합니다. 각 순전파 (forward pass) 단계에서, 이 방법은 각 마스크된 위치에 커밋 점수 (commit score)를 할당하고 모델의 예측 분포 (predictive distributions)에서 도출된 쌍별 상호작용 (pairwise interactions)을 사용하여 이 점수들을 정제합니다. 변분 완화 (variational relaxation)를 통해 단일 순전파 내에서 충돌하는 동시 커밋을 억제하는 간단한 고정점 업데이트 (fixed-point update)를 도출합니다. 이 메커니즘을 통해 디코더는 경쟁력 있는 생성 품질을 유지하면서 더 많은 토큰을 병렬로 커밋할 수 있습니다. 이 방법은 경량이며, 보조 모델이나 재학습을 요구하지 않고, 수정 없이 기존의 확산 디코딩 파이프라인에 바로 적용할 수 있습니다. 추론 및 코드 생성 벤치마크에 대한 실험 결과, 품질-지연 시간 트레이드오프 (quality-latency trade-off) 측면에서 일관된 개선을 보여줍니다.