Attention Once Is All You Need: Stateful Transformers를 이용한 효율적인 스트리밍 추론

요약

본 기사는 스트리밍 워크로드에서 발생하는 과도한 프리필 비용 문제를 해결하기 위해 상태 유지 세션(stateful sessions) 기반의 데이터 중심 계산 모델을 제안합니다. 이 모델은 지속적으로 업데이트되는 KV 캐시를 활용하여, 쿼리 지연 시간을 누적 컨텍스트 크기와 무관하게 O(|q|)로 낮춥니다. 또한, Flash Queries와 같은 기능을 통해 유휴 GPU 사이클을 활용하고, 개선된 연속 배치 스케줄러를 통해 여러 상태 유지 세션이 단일 GPU에서 효율적으로 공존할 수 있음을 입증했습니다.

핵심 포인트

• 기존 요청 기반 추론 엔진의 O(n) 프리필 비용 문제를 해결하는 데이터 기반 계산 모델 제시.
• 지속적인 KV 캐시 업데이트를 통해 쿼리 지연 시간을 컨텍스트 크기와 무관하게 O(|q|)로 최적화.
• Flash Queries 기능을 도입하여 유휴 GPU 사이클을 활용하고 사용자 질문 전에 답변을 미리 제공할 수 있음.
• 셀 예산 허가 및 접두사 인식 그룹 프리필 기능으로 다수의 상태 유지 세션을 단일 GPU에서 효율적으로 관리 가능.
• 스트리밍 시장 데이터 벤치마크에서 기존 주요 추론 엔진 대비 최대 5.9배의 속도 향상을 달성함.