병렬 추측적 디코딩(PSD)을 통한 확산 대규모 언어 모델(Diffusion LLMs)의 파레토 프런티어 확장
요약
확산 대규모 언어 모델(dLLMs)의 높은 추론 비용 문제를 해결하기 위해, 공간적·시간적 효율성을 동시에 개선하는 병렬 추측적 디코딩(PSD) 프레임워크를 제안합니다. PSD는 추가 학습 없이 신뢰도 점수 기반의 적응형 마스크 해제와 계층적 수락 메커니즘을 통해 추론 속도를 높이면서도 생성 품질을 유지합니다. 실험 결과, 탐욕적 디코딩과 유사한 정확도를 유지하며 순전파당 최대 5.5배의 토큰 생성 효율을 달성했습니다.
핵심 포인트
- dLLMs의 높은 디노이징 반복 횟수로 인한 추론 비용 문제를 해결하기 위한 새로운 프레임워크 제안
- 신뢰도 점수를 활용한 적응형 마스크 해제 정책을 통해 공간적 효율성 확보
- 다중 깊이의 추측적 초안 생성 및 계층적 수락을 통한 시간적 효율성 확보
- 추가적인 모델 학습 없이 적용 가능한 학습 불필요(training-free) 방식
- 탐욕적 디코딩 수준의 정확도를 유지하며 순전파당 최대 5.5배의 토큰 생성 속도 향상
확산 대규모 언어 모델 (Diffusion large language models, dLLMs)은 마스킹된 토큰 시퀀스를 반복적으로 디노이징 (denoising) 함으로써 텍text를 생성합니다. dLLMs는 각 단계 내에서 모든 마스킹된 위치를 병렬로 예측할 수 있음에도 불구하고, 방대한 디노이징 반복 횟수로 인해 추론 (inference) 비용이 여전히 높습니다. 이러한 비용은 단계당 여러 토큰의 마스크를 해제 (unmasking) 함으로써 공간적으로 줄이거나, 여러 디노이징 단계를 하나의 검증 호출 (verification call)로 통합함으로써 시간적으로 줄일 수 있습니다. 본 논문에서는 이 두 축을 모두 따라 추론 성능을 공동으로 개선하는 학습이 필요 없는 프레임워크인 병렬 추측적 디코딩 (Parallel Speculative Decoding, PSD)을 제안합니다. PSD는 단일 순전파 (forward pass) 과정에서 얻은 신뢰도 점수 (confidence scores)를 사용하여, 구성 가능한 적응형 마스크 해제 정책 (adaptive unmasking policy)을 통해 마스크를 해제할 위치를 선택하고, 추가적인 모델 호출 없이 다중 깊이의 추측적 초안 (speculative drafts)을 생성합니다. 이후 최종 배치 검증 (batched verification) 단계에서 계층적 수락 (hierarchical acceptance)을 적용하여, 업데이트된 예측과 일치하는 가장 깊은 초안을 유지합니다. 추론 및 코드 생성 태스크에 걸친 세 가지 dLLM에 대한 실험 결과, PSD는 추론 효율성과 생성 품질 사이에서 유리한 트레이드오프 (trade-off)를 달성하며, 탐욕적 디코딩 (greedy decoding)과 유사한 정확도를 유지하면서 순전파당 최대 $5.5 imes$의 토큰을 생성함을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기