DiLaDiff: 언어 모델링을 위한 증류된 잠재 증강 확산 모델 (Distilled Latent-Augmented Diffusion for

확산 언어 모델 (Diffusion language models)은 본질적으로 디코딩된 토큰 간의 상관관계를 포착하는 데 실패하며, 이는 샘플링 품질 (sampling quality)과 처리량 (throughput) 사이의 가혹한 트레이드오프 (trade-off)를 초래합니다. 이 문제를 해결하기 위해, 우리는 세 가지 구성 요소를 가진 마스크 확산 언어 모델 (masked diffusion language models)의 변형인 DiLaDiff를 제안합니다: (1) 기존의 마스크 확산 언어 모델로부터 미세 조정된 오토인코더 (auto-encoder)를 통해 학습된, 의미론적 능력을 갖춘 연속적 잠재 공간 (continuous latent space); (2) 인코더 분포에 대한 사전 확률 (prior)을 학습하는 잠재 확산 모델 (latent diffusion model); (3) 학습된 사전 확률을 몇 단계의 잠재 생성 모델 (few-step latent generative model)로 증류 (distilling)하는 일관성 모델 (consistency model). 우리는 증류 (distillation)가 없더라도 우리의 잠재 가이드 확산 모델 (latent-guided diffusion model)이 마스크 확산 (masked diffusion) 베이스라인보다 성능이 뛰어나면서도 추론 (inference) 속도를 크게 가속화함을 보여줍니다. 일관성 증류 (Consistency distillation)는 연속적 확산 (continuous diffusion)의 계산 오버헤드 (computational overhead)를 더욱 낮추어, 이산적 디코딩 (discrete decoding)에 비해 무시할 수 있는 시간 내에 잠재 변수 (latent)가 생성되도록 합니다.