잠재 공간과 함께 잠재 확산 언어 모델을 훈련하는 방법

요약

본 논문은 연속적인 텍스트 표현 처리에 적합하고 비-자기회귀적 텍스트 생성을 가능하게 하는 잠재 확산 언어 모델(LDLM)을 제안합니다. LDLM은 잠재 인코더, 확산 모델, 디코더가 공동으로 훈련되는 구조를 가지며, 사전 훈련된 언어 모델의 표현을 학습 가능한 인코더로 재구성하여 효율적인 잠재 공간을 구축합니다.

핵심 포인트

• 잠재 확산 모델은 연속적 텍스트 표현 처리에 강점을 가진 비-자기회귀적 텍스트 생성 대안이다.
• LDLM은 잠재 인코더, 확산 모델, 디코더가 공동으로 훈련되는 구조를 채택한다.
• 사전 훈련된 언어 모델의 표현을 학습 가능한 인코더로 재구성하여 효율적인 잠재 공간(latents)을 구축하는 것이 핵심이다.