LongLive 2.0은 훈련(training) 및 추론(inference) 과정에서 장기 비디오 생성(long video generation) 속도를 높이기 위해 NVFP4 양자화(quantization)와 병렬성(parallelism)을 사용하는 NVIDIA의 인프라입니다.

• W4A4 및 KV 캐시 양자화(KV cache quantization)를 적용한 NVFP4 추론(inference)
• 멀티샷 비디오(multi-shot videos)의 자기회귀(AR) 훈련을 위한 균형 잡힌 시퀀스 병렬 처리(sequence parallel)
• 장기 비디오 추론을 위한 멀티샷 어텐션 싱크(multi-shot attention sink) 및 비동기 디코딩(async decoding)
• 융합된 Triton 커널(fused Triton kernels) 및 KV 동기화 오버헤드(KV sync overhead) 감소를 통한 45.7 FPS 처리량(throughput)

여기에서 자세히 살펴보세요:
https://osp.fyi/longlive/