이산 확산 언어 모델 (Discrete Diffusion Language Models) 정교화를 위한 드리프팅 목적 함수 (Drifting
요약
본 연구는 이산 확산 언어 모델(DDLMs)의 생성 품질을 높이기 위해 연속형 모델에서 사용되는 드리프팅(drifting) 방법론을 이산적 텍스트 환경에 적용하는 TokenDrift 목적 함수를 제안합니다. 하드 토큰의 미분 불가능성 문제를 해결하기 위해 범주형 예측을 소프트 토큰 특징으로 격상시키고 동결된 의미 공간에서 반대칭 드리프팅을 적용합니다. 실험 결과, MDLM과 DUO 모델에서 적은 샘플링 횟수(NFE)로도 생성 퍼플렉서티를 획기적으로 낮추며 우수한 성능 향상을 입증했습니다.
핵심 포인트
- 이산적 텍스트의 미분 불가능성 문제를 해결하기 위해 소프트 토큰 특징과 동결된 의미 공간을 활용하는 TokenDrift 방식 제안
- 연속형 생성 모델의 드리프팅 원리를 DDLMs에 성공적으로 전이하여 샘플링 효율성 개선
- MDLM 모델에서 4 NFE 기준 생성 퍼플렉서티(Gen.-PPL)를 89% 감소시키는 성과 달성
- DUO 모델에서도 86%의 퍼플렉서티 감소를 기록하며 실용적인 정교화 목적 함수로서의 가능성 확인
이산 확산 언어 모델 (Discrete Diffusion Language Models, DDLMs)은 범주형 토큰 시퀀스 (categorical token sequences)를 반복적으로 디노이징 (denoising)하여 텍스트를 생성합니다. 반면, 연속형 생성기 (continuous generators)를 위한 최근의 드리프팅 (drifting) 방법론들은 이러한 샘플링 시간의 교정 (sampling-time correction) 중 일부를 반대칭 고정점 목적 함수 (anti-symmetric fixed-point objective)를 통해 학습 과정으로 흡수할 수 있음을 시사합니다. 본 연구에서는 이 원리를 DDLMs에 어떻게 전이할 수 있는지 연구하며, 여기서 주요 과제는 이산적 텍스트와의 인터페이스입니다. 즉, 하드 토큰 샘플 (hard token samples)은 미분 불가능하며, 범주형 예측 (categorical predictions)은 드리프팅을 위한 연속 샘플을 직접적으로 제공하지 않습니다. 우리는 범주형 예측을 소프트 토큰 특징 (soft-token features)으로 격상시키고, 동결된 의미 공간 (frozen semantic space)에서 반대칭 드리프팅을 적용하며, 결과적으로 발생하는 스톱 그래디언트 특징 타겟 (stop-gradient feature target)을 DDLM 로짓 (logits)으로 역전파하는 드리프팅 목적 함수인 TokenDrift를 공식화합니다. 마스크 (masked) 및 균일 상태 (uniform-state) 확산 백본 (diffusion backbones)을 사용한 통제된 지속 학습 (continual-training) 실험에서, TokenDrift는 일치하는 연속 학습 (continuation) 베이스라인 대비 고정된 NFE (Number of Function Evaluations)에서의 생성 품질을 향상시켰으며, MDLM에서는 4 NFE 기준 생성 퍼플렉서티 (Gen.-PPL)를 89% 감소시켰고, DUO에서는 86% 감소시켰습니다. 이러한 결과는 드리프팅이 DDLMs를 위한 실용적인 정교화 목적 함수 (refinement objective)를 제공할 수 있음을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기