이산 확산 언어 모델 (Discrete Diffusion Language Models) 정교화를 위한 드리프팅 목적 함수 (Drifting

요약

본 연구는 이산 확산 언어 모델(DDLMs)의 생성 품질을 높이기 위해 연속형 모델에서 사용되는 드리프팅(drifting) 방법론을 이산적 텍스트 환경에 적용하는 TokenDrift 목적 함수를 제안합니다. 하드 토큰의 미분 불가능성 문제를 해결하기 위해 범주형 예측을 소프트 토큰 특징으로 격상시키고 동결된 의미 공간에서 반대칭 드리프팅을 적용합니다. 실험 결과, MDLM과 DUO 모델에서 적은 샘플링 횟수(NFE)로도 생성 퍼플렉서티를 획기적으로 낮추며 우수한 성능 향상을 입증했습니다.

핵심 포인트

• 이산적 텍스트의 미분 불가능성 문제를 해결하기 위해 소프트 토큰 특징과 동결된 의미 공간을 활용하는 TokenDrift 방식 제안
• 연속형 생성 모델의 드리프팅 원리를 DDLMs에 성공적으로 전이하여 샘플링 효율성 개선
• MDLM 모델에서 4 NFE 기준 생성 퍼플렉서티(Gen.-PPL)를 89% 감소시키는 성과 달성
• DUO 모델에서도 86%의 퍼플렉서티 감소를 기록하며 실용적인 정교화 목적 함수로서의 가능성 확인