LongLive 2.0: NVIDIA의 NVFP4 양자화 및 병렬 처리를 활용한 장기 비디오 생성 가속 인프라
요약
LongLive 2.0은 NVFP4 양자화와 병렬 처리 기술을 활용하여 장기 비디오 생성의 속도를 혁신적으로 높이는 NVIDIA 인프라입니다. W4A4 및 KV 캐시 양자화, 시퀀스 병렬 처리를 통해 효율적인 훈련과 추론을 지원합니다.
핵심 포인트
- NVFP4 양자화 및 W4A4 적용을 통한 추론 가속
- 멀티샷 비디오 훈련을 위한 균형 잡힌 시퀀스 병렬 처리
- 멀티샷 어텐션 싱크 및 비동기 디코딩 기술 활용
- Triton 커널 융합을 통해 45.7 FPS 처리량 달성
LongLive 2.0은 훈련(training) 및 추론(inference) 과정에서 장기 비디오 생성(long video generation) 속도를 높이기 위해 NVFP4 양자화(quantization)와 병렬성(parallelism)을 사용하는 NVIDIA의 인프라입니다.
- W4A4 및 KV 캐시 양자화(KV cache quantization)를 적용한 NVFP4 추론(inference)
- 멀티샷 비디오(multi-shot videos)의 자기회귀(AR) 훈련을 위한 균형 잡힌 시퀀스 병렬 처리(sequence parallel)
- 장기 비디오 추론을 위한 멀티샷 어텐션 싱크(multi-shot attention sink) 및 비동기 디코딩(async decoding)
- 융합된 Triton 커널(fused Triton kernels) 및 KV 동기화 오버헤드(KV sync overhead) 감소를 통한 45.7 FPS 처리량(throughput)
여기에서 자세히 살펴보세요:
https://osp.fyi/longlive/
AI 자동 생성 콘텐츠
본 콘텐츠는 X @githubprojects (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0