언어는 생성 모델링(generative modeling) 분야에서 여전히 예외적인 존재입니다. 이미지, 비디오, 오디오는 점점 더 연속적 잠재 공간(continuous latent spaces)에서 모델링되는 반면, 텍스트 생성은 여전히 주로 이산적 토큰(discrete tokens)에 의존합니다. 기존의 연속적 언어 모델들은 공동 생성 및 디코딩(joint generation and decoding)을 위해 설계되지 않은 임베딩 공간(embedding spaces)을 상속받거나, 확산(diffusion)을 용이하게 하기 위해 자동 인코딩된 잠재 변수(autoencoded latents)를 압축함으로써 토큰 수준의 충실도(token-level fidelity)를 희생합니다. 우리는 표현(representation)을 생성 모델에 맞게 단순화하는 대신, 높은 용량을 가진 디코딩 가능한 텍스트 잠재 변수(text latent)를 보존하고 확산 모델이 그 분포를 직접 학습하도록 설계합니다. 우리는 디코딩 가능한 텍스트 표현의 구축과 그 분포의 모델링을 분리하는 연속적 잠재 확산 언어 모델(continuous-latent diffusion language model)인 AURORA-LM을 소개합니다. 쿼리 기반 인코더-디코더(Query-based Encoder-Decoder)는 텍스트를 높은 용량의 접두사 정렬된(prefix-aligned) 잠재 시퀀스로 구성하며, 블록 인과적 확산 트랜스포머(Block-causal Diffusion Transformer)는 플로우 매칭(flow matching)을 통해 그 분포를 학습하여, 각 블록 내의 위치를 병렬로 노이즈 제거(denoising)하는 동시에 블록을 왼쪽에서 오른쪽으로 생성합니다. 이러한 잠재 변수는 확산 모델이 모델링하기 더 어렵기 때문에, AURORA-LM은 디코더를 향한 용량을 줄이지 않고 전체 너비의 잠재 변수(full-width latents)를 수용하면서, 노이즈 입력 경로(noisy-input pathway)만을 제한하고 전체 깨끗한 잠재 예측 대상(full clean-latent prediction target)을 유지합니다. 나아가 우리는 노이즈 수준 분포를 잠재 너비에 맞게 보정하고, 독립적으로 샘플링된 훈련 노이즈와 추론 시의 반복적 노이즈 제거 사이를 연결하기 위해 자기 궤적 일관성(self-trajectory consistency)을 도입합니다. AURORA-LM은 OpenWebText 자유 생성 및 XSum 요약 작업에서 평가된 연속적 및 확산 기반 언어 모델 중 가장 강력한 성능을 달성했습니다. 약 1500 EFLOPs의 총 연산량으로 1B 파라미터까지 확장했을 때 추가적인 이득을 얻었으며, 동일한 평가 프로토콜 하에서 공개된 더 큰 규모의 잠재 확산 언어 모델(latent-diffusion language model)을 능가했습니다. 모든 실험은 Ascend NPU에서 수행되었습니다.