낮은 Perplexity는 반복이다: 연속 확산 언어 모델(Continuous Diffusion LMs)에서의 1차원 자기 조건화

요약

연속 확산 언어 모델(Continuous Diffusion LMs)이 낮은 Perplexity를 기록하면서도 실제로는 텍스트를 과도하게 반복하는 문제를 분석했습니다. 연구팀은 이러한 반복의 원인이 자기 조건화 피드백 루프의 수축적 끌개 현상임을 밝히고, 이를 해결하기 위한 ACE 기법을 제안합니다.

핵심 포인트

• 낮은 Gen-PPL이 모델의 품질을 과장할 수 있는 함정임을 지적
• 반복의 원인을 자기 조건화 과정의 1차원적 수축적 끌개로 규명
• ACE(Attractor-Contrast-Escape) 기법을 통해 반복을 인간 수준으로 감소
• ACE 적용 시 품질을 유지하면서도 생성 연산 비용을 1.5~5배 절감