LoopVQ: 루프 트랜스포머를 위한 서브 1-비트 KV 캐시 양자화

요약

LoopVQ는 루프 트랜스포머의 메모리 병목 현상을 해결하기 위해 서브 1-비트 KV 캐시 양자화 기법을 제안합니다. 이 방법은 여러 루프 단계의 채널들을 공동으로 코딩하여 효율성을 높였으며, 장문 추론 및 컨텍스트 검색에서 기존 방식보다 우수한 성능을 보였습니다. SGLang에 구현했을 때 디코딩 지연 시간을 절반 수준으로 줄이고 최고 처리량을 크게 향상시켰습니다.

핵심 포인트

• LoopVQ는 루프 트랜스포머의 KV 캐시 메모리 병목 현상을 해결하는 양자화 기법입니다.
• 여러 루프 단계의 채널을 공동 코딩하여 효율성을 극대화했습니다.
• 장문 추론 및 컨텍스트 검색에서 기존 방식 대비 우수한 성능을 입증했습니다.
• SGLang에 적용 시, 디코딩 지연 시간을 절반으로 줄이고 처리량을 최대 6.1배까지 높였습니다.