소비자용 하드웨어에서의 실시간 비디오-투-비디오 (video-to-video) 편집
요약
SANA-Streaming은 단일 RTX 5090에서 1280×704 해상도로 24 FPS의 실시간 비디오 편집 성능을 구현합니다. 하이브리드 확산 트랜스포머와 사이클-역방향 정규화 기술을 통해 긴 비디오에서도 뛰어난 시간적 일관성을 유지합니다.
핵심 포인트
- RTX 5090 단일 GPU에서 24 FPS 실시간 편집 가능
- DiT 코어 기준 최대 58 FPS 성능 달성
- 하이브리드 확산 트랜스포머 기반의 고효율 구조
- 사이클-역방향 정규화로 비디오 시간적 일관성 확보
소비자용 하드웨어에서의 실시간 비디오-투-비디오 (video-to-video) 편집
SANA-Streaming은 단일 RTX 5090에서 1280×704 해상도로 24 FPS의 엔드-투-엔드 (end-to-end) 성능을 보여주며, DiT 코어는 58 FPS에 달합니다. 사이클-역방향 정규화 (cycle-reverse regularization)와 결합된 하이브리드 확산 트랜스포머 (hybrid diffusion transformer)는 긴 쌍(paired) 비디오가 필요 없이 편집의 시간적 일관성 (temporally coherent)을 유지합니다.
논문 (Paper):
https://huggingface.co/papers/2605.30409
프로젝트 페이지 (Project page):
https://nvlabs.github.io/Sana/Streaming
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0