Spool: 하이브리드 비전-언어 모델을 위한 저지연 스트리밍 추론
요약
Spool은 하이브리드 비전-언어 모델(VLM)의 실시간 스트리밍 추론을 위한 효율적인 프레임워크입니다. 기존 방식이 슬라이딩 윈도우 유지 시 전체 재실행 비용이 높았던 문제를 해결하기 위해, Spool은 순환 업데이트 특성을 활용하여 만료된 프레임을 학습 불필요(training-free)로 제거합니다. 이를 통해 낮은 오버헤드로 저지연 스트리밍 추론 성능을 크게 개선했습니다.
핵심 포인트
- Spool은 하이브리드 VLM의 저지연 스트리밍 추론에 최적화된 프레임워크입니다.
- 순환 업데이트를 활용하여 만료된 프레임을 재재생 없이 효율적으로 제거합니다.
- 전용 GPU 커널과 데이터 구조 설계를 통해 낮은 캐싱 및 합성 오버헤드를 달성했습니다.
- 벤치마크에서 기존 vLLM 대비 p95 첫 토큰 시간을 기하 평균 6.6배 단축시켰습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기