TurboServe
요약
스트리밍 비디오 생성 워크로드에 최적화된 최초의 서빙 시스템인 TurboServe를 소개합니다. 이 시스템은 청크당 지연 시간을 37.5% 줄이고 GPU 운영 비용을 37.2% 절감하는 성능을 보여줍니다.
핵심 포인트
- 스트리밍 비디오 생성 전용 서빙 시스템 구축
- 최악의 경우 청크당 지연 시간 37.5% 감소
- 총 GPU 운영 비용 37.2% 절감 효과
- NVIDIA B300 GPU 클러스터 환경에서 성능 검증
스트리밍 비디오 생성 워크로드 (streaming video generation workloads)를 위해 구축된 최초의 서빙 시스템 (serving system).
최악의 경우 청크당 지연 시간 (per-chunk latency)을 37.5% 감소시킵니다.
그리고 총 GPU 운영 비용을 37.2% 절감합니다.
최대 64개의 NVIDIA B300 GPU가 장착된 클러스터에서 테스트되었습니다. https://t.co/KAsQA1PgSZ
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0