Continuous Latent Diffusion Language Model

요약

본 논문은 기존 자기회귀(autoregressive) 방식의 한계를 극복하고, 텍스트를 계층적 잠재 공간에서 생성하는 새로운 접근 방식인 Cola DLM을 제안합니다. Cola DLM은 Text VAE와 블록-인과적 DiT를 결합하여 안정적인 잠재 매핑과 전역적 의미 모델링을 수행하며, 이를 통해 토큰 수준의 복원 대신 잠재 선행(latent prior) 전송에 초점을 맞춥니다. 이 설계는 비자기회귀 유도 편향을 제공하고 연속적 모달리티로의 확장을 용이하게 하며, 기존 LLM 대비 우수한 스케일링 행동과 생성 품질을 입증합니다.

핵심 포인트

• Cola DLM은 텍스트를 계층적 잠재 공간에서 생성하는 새로운 모델입니다.
• 기존 자기회귀 방식의 제약(순차적 방향성)을 벗어나 비자기회귀 유도 편향을 제공합니다.
• 잠재 선행 전송(latent prior transport)에 초점을 맞춰 전역적 의미 조직과 지역적 텍스트 실현을 분리합니다.
• Text VAE와 블록-인과적 DiT를 통합하여 안정적인 잠재 매핑 및 강력한 전역적 의미 모델링 능력을 확보했습니다.
• 제안된 모델은 이산적 텍스트뿐만 아니라 다른 연속적 모달리티로의 확장 가능성을 제시합니다.