BS-Spec: LUT 기반 혼합 정밀도 가속을 위한 BFP 기반 비트 공유를 통한 자체 추측 디코딩

원문 발행 2026. 10. 16. 12:30원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

본 논문은 블록 부동 소수점(BFP) 기반 비트 공유 프레임워크인 BS-Spec을 제안하며, LLM 추론의 처리량 개선을 목표로 합니다. BS-Spec은 초안 구성, 워크로드 인식 정밀도 선택, 하드웨어 실행을 통합적으로 최적화합니다. 이를 통해 별도의 초안 모델 스토리지를 제거하고, 다양한 서비스 환경에 적응하는 고효율 자체 추측 디코딩 방식을 제시했습니다.

핵심 포인트

BFP 기반 비트 공유 프레임워크 BS-Spec 제안
초안 구성, 정밀도 선택, 하드웨어 실행을 통합 최적화
별도의 초안 모델 스토리지를 제거하여 효율성 증대
LUT 기반 가변 정밀도 BFP 가속기 설계 및 적용

대규모 언어 모델(LLMs)이 다양한 추론 서비스에 점점 더 많이 배포됨에 따라, 서비스 워크로드는 광범위한 배치 크기, 컨텍스트 길이 및 성능 요구 사항을 포괄합니다. 추측 디코딩(Speculative decoding)은 추론 처리량(throughput)을 개선하지만, 기존 접근 방식은 별도의 초안 모델(draft model)과 KV 캐시를 필요로 하며, 기존의 자체 추측 방법들은 워크로드에 둔감한 초안 구성과 비효율적인 혼합 정밀도 실행으로 어려움을 겪습니다. 본 논문에서는 블록 부동 소수점(BFP)-기반 비트 공유 프레임워크인 BS-Spec을 제시합니다. 이는 초안 구성, 워크로드 인식 정밀도 선택, 하드웨어 실행을 공동으로 최적화합니다. BS-Spec은 가중치와 KV 캐시의 가장 중요한 비트(most significant bits)를 부분적으로 로딩하고 공유 지수(shared exponents)를 보존함으로써 단일 BFP 대상 모델로부터 여러 초안 표현을 직접 도출하여 별도의 초안 모델 스토리지를 제거합니다. 오프라인 보정(Offline calibration)은 각 서비스 체제에 대해 추정되는 속도 향상을 최대화하는 가중치 및 KV 캐시 정밀도 쌍을 선택하며, 정밀도 조회 테이블(precision lookup table)이 런타임에 선택된 구성을 적용합니다. 이러한 적응형 실행을 지원하기 위해, 우리는 초안 계산과 대상 계산 모두를 위한 조회 테이블(LUT)-기반 가변 정밀도 데이터 경로를 갖춘 혼합 정밀도 BFP 가속기를 설계했습니다. 실험 결과는 BS-Spec이 기존의 자기회귀 디코딩(autoregressive decoding) 대비 최대 $1.9 imes$의 속도 향상을 달성하며, 평가된 비트 공유 자체 추측 디코딩 기준선 대비 평균 $67.2$% 더 나은 속도 향상을 보여주어, 다양한 LLM 서비스 워크로드에 대해 비트 공유, 정밀도 적응, 특수 하드웨어를 공동으로 설계하는 이점을 입증합니다.

AI 자동 생성 콘텐츠

원문 바로가기

BS-Spec: LUT 기반 혼합 정밀도 가속을 위한 BFP 기반 비트 공유를 통한 자체 추측 디코딩

요약

핵심 포인트

댓글