Github: https://github.com/LynnReal-AI/LynnReal-Omni Models: https://huggingface.co/stdstu123/LynnReal-Onmi-beta-0.1/tree/main/comfyui/models/diffusion_models 하나의 모델로 여러 비디오 작업을 통합했습니다. MiniMax H3 아키텍처를 기반으로 하는 32B 공유 멀티모달 확산 트랜스포머(shared multimodal diffusion transformer)를 통해 LynnReal-Omni는 텍스트-투-비디오, 이미지-투-비디오, 사람 및 손 포즈 가이드 생성, 구조적 제어(structural control), 오므니-레퍼런스 생성(omni-reference generation), 스타일 변환(style transfer), 비디오 편집(video editing), 저화질 비디오 복원(degraded-video restoration) (누적 오류로 영향을 받은 비디오도 복구한다는 것을 발견했습니다) 및 스트리밍 장편 비디오 생성까지 모두 단일 프레임워크에서 4단계의 빠른 생성으로 구현합니다. 또한 외형 레퍼런스, 편집 가능한 3D 렌더링, 게임 녹화와 같은 이질적인 입력(heterogeneous inputs)을 받아 에이전트가 하나의 모델 내에서 시각적 조건을 구성할 수 있습니다.

Flash는 실시간 렌더링에 맞춰 개발되었습니다. 저희는 모델 및 디코딩 가속화와 경량 VAE 디코더를 통해 추론 비용을 낮춘 27B LynnReal-Omni-Flash(3단계 생성)를 훈련했습니다. 단일 H100에서 Standard 모델로 22프레임 540p 비디오의 워밍업 생성 및 디코딩에 843ms가 걸리고, Flash 모델로는 377ms가 걸려 실시간 스트리밍 비디오 생성을 위한 기반을 마련했습니다.