잠재적 로드맵을 따라가라: Anchor Tokens를 이용한 Diffusion LLM의 취소 가능한 디코딩(Revocable Decoding)

원문 발행 2026. 06. 16. 00:23원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

Diffusion LLM의 디코딩 과정에서 발생하는 오류 전파와 국소적 오류 강화 문제를 해결하기 위한 ASRD 프레임워크를 제안합니다. 앵커 토큰을 활용해 신뢰할 수 있는 컨텍스트를 식별함으로써 디코딩 정확도와 추론 속도를 동시에 개선합니다.

핵심 포인트

ASRD는 훈련이 필요 없는 임베딩 공간 기반 프레임워크임
앵커 토큰을 통해 신뢰할 수 있는 골격과 불확실한 후보를 분리
Anchor-Guided Generation으로 어텐션 교정 수행
Anchor-Perturbed Verification으로 오류 토큰 재마스킹
추론 처리량 최대 7.2배 가속 및 정확도 6.4% 향상

Diffusion Large Language Models (dLLMs)는 병렬 생성을 위한 유망한 경로를 제공하지만, 디코딩 속도와 품질 사이의 트레이드오프(trade-off) 문제에 직면해 있습니다. 취소 가능한 디코딩 (revocable decoding) 전략은 토큰을 검증하고 다시 마스킹(remasking)함으로써 오류를 완화하려고 시도하지만, 일반적으로 혼합된 품질의 컨텍스트 내에서 작동합니다. 이는 두 가지 결정적인 실패로 이어집니다: 새로운 토큰이 잘못된 컨텍스트로부터 유해한 정보를 흡수하는 extit{오류 전파 (Error Propagation)}, 그리고 오류들이 서로를 강화하여 탐지를 회피하는 extit{국소적 오류 강화 (Local Error Reinforcement)}입니다. 이러한 과제를 완화하기 위해, 우리는 임베딩 공간(embedding space) 내에서 작동하는 훈련이 필요 없는 프레임워크인 ASRD (Anchor Supervised Revocable Decoding)를 제안합니다. ASRD는 디코딩 컨텍스트를 시간적 일관성(temporal consistency)을 통해 식별된 신뢰할 수 있는 extit{앵커 토큰 (Anchor Tokens)}과 불확실한 후보들로 명시적으로 분리합니다. 동적인 Anchor Tokens Cache를 활용하여, 우리는 두 가지 상호 보완적인 메커니즘을 도입합니다: (1) Anchor-Guided Generation은 마스킹된 위치에 엔트로피 가중치가 적용된 앵커 신호를 주입하여 신뢰할 수 있는 전역적 골격(global skeleton)을 향해 어텐션(attention)을 암시적으로 교정합니다. (2) Anchor-Perturbed Verification은 불확실한 후보 토큰에 직교 섭동(orthogonal perturbations)을 적용하여, 취약한 국소적 합의(local consensus)에 의해 유도된 오류를 불안정하게 만들고 다시 마스킹합니다. 수학 및 코딩 벤치마크에 대한 광범위한 실험 결과, ASRD는 최근의 remasking 베이스라인들을 능가하며, 추론 처리량(inference throughput)을 최대 7.2$ imes$ 가속화하는 동시에 정확도를 최대 6.4% 향상시키는 것을 입증했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

잠재적 로드맵을 따라가라: Anchor Tokens를 이용한 Diffusion LLM의 취소 가능한 디코딩(Revocable Decoding)

요약

핵심 포인트

댓글