TextLDM: 연속 잠재 확산(Continuous Latent Diffusion)을 이용한 언어 모델링

요약

TextLDM은 연속 잠재 확산(Continuous Latent Diffusion) 기술을 언어 모델링에 적용한 프레임워크입니다. 기존의 시각적 생성(이미지/비디오)에 사용되던 확산 트랜스포머(DiT) 아키텍처를 최소한의 수정만으로 텍스트 생성 영역으로 확장했습니다. 이 방법은 VAE 잠재 공간에서 연속적인 텍스트 표현을 얻기 위해 Representation Alignment (REPA) 기법을 활용하며, OpenWebText2로 사전 학습된 TextLDM은 기존 확산 언어 모델보다 우수한 성능을 보여주었습니다.

핵심 포인트

• 시각적 생성에 사용되던 DiT 아키텍처를 텍스트 생성으로 성공적으로 확장함.
• 핵심 기술인 연속 잠재 공간(Continuous Latent Space)에서 텍스트 표현을 다룸.
• Representation Alignment (REPA) 기법이 다운스트림 텍스트 생성 품질 향상에 필수적임을 입증함.
• TextLDM은 OpenWebText2로 사전 학습되어 기존 확산 언어 모델 대비 높은 성능을 달성함.