Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AdaFlash는 디퓨전 Drafter의 높은 분산 문제를 해결하여 투기적 디코딩의 효율을 높이는 프레임워크입니다. 온폴리시 증류(OPD)와 적응형 길이 헤드를 통해 도메인 및 토큰 수준의 변동성을 줄이고 추론 처리량을 극대화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기경량화된 초안 모델(draft model)이 먼저 초안 시퀀스를 생성하면 타겟 모델(target model)이 이를 병렬로 검증하는 투기적 디코딩 (Speculative decoding)은 대규모 언어 모델 (LLM) 추론을 가속화하는 보편적인 패러다임이 되었습니다. DFlash와 같은 최근 연구는 디퓨전 Drafter (diffusion drafters)를 활용하여 초안 생성 효율을 더욱 높였으며, 이들의 병렬 노이즈 제거 (denoising) 메커니즘은 단 한 번의 순방향 패스 (forward pass)로 초안 생성을 가능하게 합니다. 본 연구에서 우리는 디퓨전 Drafter의 핵심적인 함정을 발견했습니다: 양방향 어텐션 (bidirectional attention)은 양날의 검입니다. 한편으로는 모델에 병렬 생성 및 전역 문맥 모델링 (global contextual modeling) 능력을 부여하지만, 다른 한편으로는 이러한 내재된 전역 의존성 (global dependency)이 도메인 수준과 토큰 수준 모두에서 높은 분산 (variance)을 유발합니다. 즉, 서로 다른 도메인에 따라 수락률 (acceptance rates)이 크게 변동하며, 초안 토큰의 품질 또한 서로 다른 토큰 위치에서 이질적으로 변합니다. 이 문제를 해결하기 위해 우리는 두 가지 구성 요소로 이루어진 AdaFlash 프레임워크를 제안합니다: (i) 디퓨전 Drafter에 맞춤화된 역-KL 발산 (reverse-KL divergence)을 사용하는 온폴리시 증류 (on-policy distillation, OPD) 알고리즘으로, 안정적인 수렴을 가져오고 도메인 수준의 분산을 효과적으로 줄입니다; (ii) 후보 시퀀스 길이를 실시간으로 동적으로 조정하는 적응형 길이 헤드 (adaptive length head)로, 타겟 모델의 검증 비용을 실질적으로 낮추고 토큰 수준의 분산을 처리합니다. 실험 결과, AdaFlash는 배포 중 가속화율을 일관되게 향상시켰으며, 특히 고동시성 (high-concurrency) 시나리오에서 눈에 띄는 이득을 보여 기존의 최첨단 (state-of-the-art) 방법들보다 최대 약 66% 더 높은 처리량 (throughput)을 달성했습니다.