이번 발표에서는 몇 가지 과감한 주장이 제기되었기에, 그 공개가 기대됩니다 😅 저희는 MiniMax H3의 가장 빠른 버전인 pi-H3를 발표합니다 [ 1 ]. pi-H3는 단지 2단계 또는 4단계 샘플링(sampling)만으로 비디오를 생성하며, 최종 단계에서 직접 픽셀을 예측하여 비디오 VAE 디코더(video VAE decoder)를 건너뜁니다. B200 단일 장치에서 5초 분량의 HD 비디오를 3.8초 만에 (준 실시간으로), 그리고 15초 분량의 비디오를 18.6초 만에 생성하는데, 이는 Sol-H3 [ 4 ]보다 두 배 이상 빠른 속도입니다. pi-H3는 오픈 소스 연구 프로젝트입니다. Hugging Face 데모가 오늘 라이브되었습니다. 모든 모델 가중치(model weights)와 학습/추론 코드(training/inference code)는 LakonLab [ 2 ]에서 제공될 예정이며, ComfyUI-piFlow [ 3 ] 확장을 통해 추가적인 ComfyUI 지원도 가능합니다.
- 사용 가능 시점: Hugging Face 데모 (지금부터 이용 가능)
- 모델 가중치 및 추론 코드: 11월 중순 이후
- 학습 코드: 코드를 정리하는 작업이 완료된 후
종단 간(End-to-end) 생성 속도 측정
NVIDIA B200 단일 장치에서 측정한 결과, pi-H3는 2단계로 5초 분량의 768p 비디오와 스테레오 오디오를 3.8초 만에, 그리고 10초 분량의 비디오를 9.2초 만에 생성하며, 이는 모두 비디오 재생 시간보다 빠른 속도입니다. 아래 차트는 텍스트 인코딩부터 디코딩된 비디오 및 오디오까지 전체 요청 과정을 Sol-H3 [ 4 ]와 비교합니다. 5~15초 분량의 비디오에서 pi-H3는 2단계 사용 시 2.4–2.7배 빠르며, 4단계 사용 시에는 1.2–1.4배 빠릅니다. 이러한 속도 향상은 적은 수의 디노이징 단계(denoising steps), 디코더 제거, 그리고 FP8 양자화(FP8 quantization) 덕분입니다.
2~4단계에서도 타협 없는 충실도(fidelity)
pi-H3는 다른 몇 단계 MiniMax H3 모델들과 비교하여 우수한 모션, 텍스처 및 오디오 충실도를 제공하는 동시에 구조적 일관성(structural coherence)을 유지합니다. 다음 비교 결과는 시드 선택 편향(seed cherry-picking) 없이 동일한 프롬프트와 가우시안 노이즈를 사용하여 각 모델에서 얻은 결과를 보여줍니다. 4단계에서는 pi-H3가 우리가 비교한 4~8단계 MiniMax H3 모델들, 즉 LightX2V Turbo [ 6 ], FastH3 Dense/DataFree [ 7 ], 그리고 larryvrh의 H3-Turbo v4 [ 8 ] 중에서 전반적으로 최고의 품질을 보여줍니다. pi-H3는 다른 모델들이 경향하는 축소되고 기계적인 움직임과는 달리, 더 역동적이고 생생한 움직임을 생성합니다.
프레임 전반적으로 더 선명하며, 풍부한 질감과 미세한 디테일이 살아있습니다. 오디오 측면에서는 pi-H3가 풍부한 저음(full bass)과 또렷한 음성(crisp speech)을 가진 고화질 사운드를 생성하는 반면, 다른 모델들은 때때로 깨진 오디오를 생성하거나 저음을 잃는 경향이 있습니다. 비디오 디코딩 없이 직접 픽셀을 출력하는 pi-H3는 DWD라는 새로운 방법을 채택하여 무거운 VAE 디코더를 우회하고 마지막 노이즈 제거 단계(denoising step)에서 직접 픽셀을 생성합니다. 이 방식은 몇 단계만 거쳐 이미지를 생성할 때 엄청난 속도 향상을 가져옵니다. 다음 비교에서는 pi-H3의 DWD 출력을, 네이티브 H3 VAE로 디코딩된 비-DWD pi-H3 라텐트(latents) 값인 Sol-H3-VAE [ 4 ] 및 LightVAE-Lite와 함께 보여줍니다.
[How it works] pi-H3는 두 가지 새로운 기술, 즉 pi-Flow v2와 DWD를 결합합니다. pi-Flow v2는 데이터가 필요 없는 몇 단계 증류(data-free few-step distillation)를 위해 pi-Flow [ 12 ]의 완전한 업그레이드 버전입니다. 이 방식은 풍부한 질감을 생성하는 pi-Flow의 강점을 유지하면서, 특히 2단계 설정에서 구조적 일관성(structural coherence)을 크게 개선했습니다. 또한 추론 과정도 단순화합니다: pi-Flow v2 모델들은 일반적으로 직선적인 궤적(straight trajectories)을 생성하여, pi-Flow가 가지고 있던 서브스텝 통합의 복잡성을 제거했습니다.
DWD (D ecoding W ithout a D ecoder)는 파이프라인에서 비디오 디코더를 완전히 제거합니다. 최종 라텐트를 별도의 VAE 디코더 네트워크를 통과시키는 대신, DWD는 노이즈 제거기(denoiser) 자체를 재사용하여 마지막 단계에서 깨끗한 픽셀을 예측합니다.
DWD를 MiniMax H3에 적용하는 것은 여전히 실험적입니다: H3는 비정상적으로 큰 압축률(토큰당 4×32×32 3채널 픽셀)을 사용하며, 저희가 아직 이를 완전히 최적화할 만큼 충분한 컴퓨팅 자원을 확보하지 못했기 때문에 추가적인 개선 여지가 남아있습니다. 더 자세한 내용은 향후 공개될 버전에서 밝혀질 예정입니다.
