단순 교체를 넘어서: Diffusion Language Model을 위한 레벤슈타인 편집
요약
본 논문은 Diffusion Language Models(DLMs)의 편집 한계를 극복하기 위해 LED(Levenshtein Editing for Diffusion Language Models) 프레임워크를 제안합니다. 이 방법론은 기존 '교체 전용 편집'을 넘어 삽입 및 삭제 기능을 레벤슈타인 거리를 기반으로 확장한 사후 학습 방식입니다. LLaDA2.1-Mini Base에 적용했을 때, 평균 점수와 토큰 수를 크게 향상시키며 DLMs의 자체 교정 능력을 입증했습니다.
핵심 포인트
- LED는 삽입 및 삭제 기능을 추가하여 DLMs의 편집 범위를 확장했습니다.
- LLaDA2.1-Mini Base 적용 시, 자신감 가이드 디코딩에서 평균 점수가 크게 향상되었습니다.
- 자신감 비가이드 디코딩에서도 높은 성능 개선을 보여 다양성을 입증했습니다.
- 블록 크기가 클 때의 강건성(robustness)이 개선되어 안정적인 성능을 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기