Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Wan-Streamer v0.2는 낮은 지연 시간을 유지하면서 출력 해상도를 640x368로 높인 엔드투엔드 시청각 상호작용 모델입니다. 단일 GPU 저지연 경로와 멀티 GPU 컨텍스트 병렬 구조를 통해 실시간 대화에 적합한 고해상도 비주얼 스트림을 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 네이티브 스트리밍(native-streaming) 방식의 엔드투엔드(end-to-end) 시청각 상호작용 모델인 Wan-Streamer v0.2를 선보입니다. v0.2는 v0.1의 모델링 공식을 유지하면서도, 25 FPS에서 약 200ms의 모델 측 신호 대 신호 지연 시간(signal-to-signal latency)을 유지하며 상호작용 출력 스트림을 192x336에서 640x368로 높였습니다. 더 높은 해상도의 스트림은 실시간 대화 중에도 자세, 시선, 손, 주변 사물 및 로컬 장면 레이아웃이 식별 가능한 장면 기반 미디엄 샷(mid-shot) 에이전트를 지원합니다. 사용자에게 보이는 지연 시간을 추가하지 않고 더 큰 비주얼 스트림을 지원하기 위해, v0.2는 스트리밍 인지(streaming perception)를 위한 단일 GPU 저지연 경로, 생성 캐시(generation cache)를 구축하는 짧은 언어/상태 트랜스포머(Transformer) 패스, 그리고 최종 디코딩(decoding)을 담당하는 thinker를 유지합니다. performer는 비용이 많이 드는 다음 유닛 잠재 생성(next-unit latent generation)을 위해 멀티 GPU Ulysses 스타일의 컨텍스트 병렬(context-parallel) 그룹이 됩니다. 각 performer 랭크(rank)는 들어오는 K/V를 미리 샤딩된(pre-sharded) 로컬 캐시에 기록합니다. 길고 고해상도인 잠재 비디오 시퀀스는 노이즈 제거(denoising)를 위해 랭크 간에 분할되며 Ulysses 통신을 통해 수집되는 반면, 훨씬 짧은 오디오 잠재 시퀀스는 시퀀스 샤딩(sequence sharding) 없이 생성됩니다. 이러한 분할 구조에서 thinker의 언어/상태 계산은 K/V 컨디셔닝(conditioning)으로서만 performer에 도달하므로, performer 그룹 내부에서 별도의 언어 시퀀스를 통신할 필요가 없습니다. 이는 compact한 thinker-performer 경계를 유지하면서 시각적 생성에 추가적인 하드웨어를 집중시키며, 350ms의 양방향 네트워크 예산을 포함했을 때 총 원격 상호작용 지연 시간을 약 550ms로 유지합니다.