Tencent는 비디오 월드 모델인 Hy-Nomas를 출시했습니다. 이 모델은 몇 초 단위로 세계(world)를 생성하며, 새로운 세그먼트마다 이전 세그먼트를 기억합니다 (키/값(keys/values)을 캐싱). 따라서 계속 진행하면서 발생하는 변화를 바꿀 수 있습니다. 저는 이를 네이티브 ComfyUI 노드로 포팅했습니다. DiT는 일반적인 ComfyUI MODEL이며, 기존 KSampler가 샘플링하고 있으며 ComfyUI 자체의 메모리 관리를 사용합니다.
무엇을 하는가: 자체 이미지에서 시작합니다. 이 모델은 이미지 입력이 없기 때문에, 해당 노드는 여러분의 사진을 짧은 정지 클립으로 인코딩하여 이를 모델의 메모리에 첫 번째 세그먼트로 넣고, 세계는 여기서부터 계속됩니다. Tencent가 훈련시킨 것은 아니지만, 외관상으로는 잘 이어집니다 (비디오 속 파리와 해변 클립들이 사진에서 시작하는 것처럼).
세그먼트 연결: 각기 다른 텍스트(행동, 장면 변화, 카메라 움직임)를 가진 세그먼트를 연결합니다.
카메라 제어: 키 타임라인("D+Left 3"은 피사체를 원형으로 회전시킴), 또는 노드 내부의 3-D 레코더에서 경로를 비행할 수 있습니다.
구동 모드(Drive mode): WASD와 화살표 키를 누르고 있으면, 1초 간격의 전환을 생성하고 프레임을 스트리밍합니다. 실시간은 아닙니다: 4090에서 832x480 해상도로 1초 전환당 약 4.3초가 소요됩니다.
속도 (RTX 4090): 720p 샘플링 단계당 1.02초가 걸립니다 (단순 bf16 포트는 2.29초가 소요됨). Tencent의 INT8 가중치는 Triton 블록 스케일 GEMM, 결합 커널(fused kernels), FP8 디코더 및 RAM 내 int8 메모리를 통해 int8 텐서 코어에서 실행됩니다. 832x480 해상도의 10초는 종단 간(end to end)으로 34초가 걸리며, 720p 세계(다섯 개의 연결된 세그먼트) 20초 분량은 약 3분이 소요됩니다. 12GB 및 16GB (4090을 제한하여 시뮬레이션)에서도 거의 같은 속도로 작동합니다: 720p 10초 분량에 대해 93초 대 89초입니다.
팁: 사용해 볼 경우, 세계 프롬프트를 Tencent의 프롬프트 리라이터가 생성하는 형식( `<|Subject1| , <Action1...</Action1 , follow-ups starting
계획된 기능으로는 Tencent의 다른 체크포인트 및 LoRA, 더 빠른 디코더(decoder), 실시간에 가까운 드라이브 모드, 프롬프트 도우미가 있습니다. 노드는 https://github.com/PedroMarinhoDev/ComfyUI-Hy-Nomas이며, 가중치(Weights)는 https://huggingface.co/PedroMarinhoDev/Hy-Nomas-ComfyUI입니다. 제출자는 /u/LatentSpacer이며 [링크]와 [댓글]을 확인할 수 있습니다.
