잠재 공간과 함께 잠재 확산 언어 모델을 훈련하는 방법
요약
본 논문은 연속적인 텍스트 표현 처리에 적합하고 비-자기회귀적 텍스트 생성을 가능하게 하는 잠재 확산 언어 모델(LDLM)을 제안합니다. LDLM은 잠재 인코더, 확산 모델, 디코더가 공동으로 훈련되는 구조를 가지며, 사전 훈련된 언어 모델의 표현을 학습 가능한 인코더로 재구성하여 효율적인 잠재 공간을 구축합니다.
핵심 포인트
- 잠재 확산 모델은 연속적 텍스트 표현 처리에 강점을 가진 비-자기회귀적 텍스트 생성 대안이다.
- LDLM은 잠재 인코더, 확산 모델, 디코더가 공동으로 훈련되는 구조를 채택한다.
- 사전 훈련된 언어 모델의 표현을 학습 가능한 인코더로 재구성하여 효율적인 잠재 공간(latents)을 구축하는 것이 핵심이다.
잠재 확산 모델(Latent diffusion models)은 연속적인 텍스트 표현에 대해 작동하고 전체 시퀀스를 병렬로 디노이징함으로써 비-자기회귀적(non-autoregressive) 텍스트 생성에 대한 매력적인 대안을 제공합니다. 잠재 확산 모델링의 주요 과제는 적절한 잠재 공간을 구성하는 것입니다. 본 논문에서는 잠재 인코더, 확산 모델, 디코더가 공동으로 훈련되는 잠재 확산 언어 모델(Latent Diffusion Language Model, LDLM)을 제시합니다. LDLM은 사전 훈련된 언어 모델의 표현을 학습 가능한 인코더로 재구성하여 잠재 공간을 구축하며, 이를 통해 디노이징과 디코딩 모두에 용이한 잠재값(latents)을 얻습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기1