Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ReaDy는 하이브리드 선형 어텐션(HLA) 모델의 순환 상태를 활용하여 추측적 디코딩(Speculative decoding)을 수행하는 새로운 방법을 제안합니다. 이 방법은 초안 작성 과정에서 위치별 컨텍스트 검색을 통해 효율적인 보충 컨텍스트 소스를 제공하며, 기존 방식 대비 높은 성능 향상을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기추측 디코딩(Speculative decoding)은 한 단계에서 여러 토큰을 초안 작성함으로써 자가회귀 생성(autoregressive generation) 속도를 높이지만, 특징 기반 드래프터(feature-based drafters)는 대상 히든 피처에 의존하는데, 이 컨텍스트적 강조점이 후속 초안 위치의 필요성과 일치하지 않을 수 있습니다. 하이브리드 선형 어텐션(HLA) 모델은 역사적 연관성을 축적하는 간결한 순환 상태(recurrent states)를 유지하여, 추측적 초안 작성을 위한 효율적인 보완 컨텍스트 소스를 제공합니다. 우리는 ReaDy를 소개하는데, 이는 우리가 아는 한 최초의 추측 디코딩 방법으로, HLA 순환 상태를 활용하여 초안 작성 중 위치별 컨텍스트 검색을 수행합니다. ReaDy는 각 초안 위치에 학습된 쿼리(query)를 장착하여 대상의 확정된 순환 상태로부터 보충 컨텍스트를 직접 검색합니다. 경량 상태 리더(state reader)가 이 컨텍스트를 잔차 업데이트(residual updates)를 통해 초안 표현에 통합하는 동안, 저랭크 상태 읽기 및 융합 연산자(fused operators)는 추가적인 계산 및 I/O 오버헤드를 낮게 유지합니다. DSpark의 병렬 백본(parallel backbone)과 순차적 예측 헤드(sequential prediction head)를 기반으로, ReaDy는 경량의 2단계 적응 전략을 사용하며, 리더 용량, 상태 소스, 잔차 배치에 대해 제거 연구(ablation studies)를 수행했습니다. 수학, 코드 생성, 대화를 아우르는 7개의 벤치마크에서, ReaDy는 단일 NVIDIA B200 GPU에서 Qwen3.8-27B를 사용한 자가회귀 디코딩 대비 평균 $3.16 imes$의 디코딩 속도 향상을 달성했습니다. 또한 모든 벤치마크에서 DSpark보다 우수하며, 평균적으로 처리량(throughput)을 7.97% 개선하고 수용 길이(acceptance length)를 8.50% 개선했습니다. 당사의 코드는 https://github.com/StartLuxLabs/ReaDy에서 이용 가능합니다.