본문으로 건너뛰기
arXiv논문2026. 11. 19. 19:35
Spool: 하이브리드 비전-언어 모델을 위한 저지연 스트리밍 추론 대표 이미지

Spool: 하이브리드 비전-언어 모델을 위한 저지연 스트리밍 추론

원문 발행 2026. 11. 18. 03:59원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

Spool은 하이브리드 비전-언어 모델(VLM)의 실시간 스트리밍 추론을 위한 효율적인 프레임워크입니다. 기존 방식이 슬라이딩 윈도우 유지 시 전체 재실행 비용이 높았던 문제를 해결하기 위해, Spool은 순환 업데이트 특성을 활용하여 만료된 프레임을 학습 불필요(training-free)로 제거합니다. 이를 통해 낮은 오버헤드로 저지연 스트리밍 추론 성능을 크게 개선했습니다.

핵심 포인트

  • Spool은 하이브리드 VLM의 저지연 스트리밍 추론에 최적화된 프레임워크입니다.
  • 순환 업데이트를 활용하여 만료된 프레임을 재재생 없이 효율적으로 제거합니다.
  • 전용 GPU 커널과 데이터 구조 설계를 통해 낮은 캐싱 및 합성 오버헤드를 달성했습니다.
  • 벤치마크에서 기존 vLLM 대비 p95 첫 토큰 시간을 기하 평균 6.6배 단축시켰습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0