Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AURORA-LM은 텍스트 생성을 위해 연속적 잠재 확산 모델링을 도입한 새로운 언어 모델입니다. 기존 모델과 달리 높은 용량의 디코딩 가능한 텍스트 잠재 변수를 보존하며, 플로우 매칭 기반의 블록 인과적 확산 트랜스포머를 통해 뛰어난 성능을 구현했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어는 생성 모델링(generative modeling) 분야에서 여전히 예외적인 존재입니다. 이미지, 비디오, 오디오는 점점 더 연속적 잠재 공간(continuous latent spaces)에서 모델링되는 반면, 텍스트 생성은 여전히 주로 이산적 토큰(discrete tokens)에 의존합니다. 기존의 연속적 언어 모델들은 공동 생성 및 디코딩(joint generation and decoding)을 위해 설계되지 않은 임베딩 공간(embedding spaces)을 상속받거나, 확산(diffusion)을 용이하게 하기 위해 자동 인코딩된 잠재 변수(autoencoded latents)를 압축함으로써 토큰 수준의 충실도(token-level fidelity)를 희생합니다. 우리는 표현(representation)을 생성 모델에 맞게 단순화하는 대신, 높은 용량을 가진 디코딩 가능한 텍스트 잠재 변수(text latent)를 보존하고 확산 모델이 그 분포를 직접 학습하도록 설계합니다. 우리는 디코딩 가능한 텍스트 표현의 구축과 그 분포의 모델링을 분리하는 연속적 잠재 확산 언어 모델(continuous-latent diffusion language model)인 AURORA-LM을 소개합니다. 쿼리 기반 인코더-디코더(Query-based Encoder-Decoder)는 텍스트를 높은 용량의 접두사 정렬된(prefix-aligned) 잠재 시퀀스로 구성하며, 블록 인과적 확산 트랜스포머(Block-causal Diffusion Transformer)는 플로우 매칭(flow matching)을 통해 그 분포를 학습하여, 각 블록 내의 위치를 병렬로 노이즈 제거(denoising)하는 동시에 블록을 왼쪽에서 오른쪽으로 생성합니다. 이러한 잠재 변수는 확산 모델이 모델링하기 더 어렵기 때문에, AURORA-LM은 디코더를 향한 용량을 줄이지 않고 전체 너비의 잠재 변수(full-width latents)를 수용하면서, 노이즈 입력 경로(noisy-input pathway)만을 제한하고 전체 깨끗한 잠재 예측 대상(full clean-latent prediction target)을 유지합니다. 나아가 우리는 노이즈 수준 분포를 잠재 너비에 맞게 보정하고, 독립적으로 샘플링된 훈련 노이즈와 추론 시의 반복적 노이즈 제거 사이를 연결하기 위해 자기 궤적 일관성(self-trajectory consistency)을 도입합니다. AURORA-LM은 OpenWebText 자유 생성 및 XSum 요약 작업에서 평가된 연속적 및 확산 기반 언어 모델 중 가장 강력한 성능을 달성했습니다. 약 1500 EFLOPs의 총 연산량으로 1B 파라미터까지 확장했을 때 추가적인 이득을 얻었으며, 동일한 평가 프로토콜 하에서 공개된 더 큰 규모의 잠재 확산 언어 모델(latent-diffusion language model)을 능가했습니다. 모든 실험은 Ascend NPU에서 수행되었습니다.