H3 Editor: ComfyUI 내부의 MiniMax H3용 타임라인 비디오 에디터. (그래프 배선 대신 샷으로 작성) (오픈 소스

저는 MiniMax H3를 위해 ComfyUI 내부에 전체 화면 타임라인 에디터를 구현한 커스텀 노드 팩을 만들었습니다. 클립별로 그래프를 구성하는 대신, 각 장면(shot)을 텍스트로 작성합니다 (무슨 일이 일어나는지, 카메라, 사운드). 이렇게 작성된 샷들을 렌더링하고 타임라인 상에서 해당 사운드와 함께 잘라 붙일 수 있습니다.
Repo: https://github.com/igorls/comfyui-h3-editor
Docs: https://igorls.github.io/comfyui-h3-editor
Model: HyperFlow H3 Flash INT8 https://huggingface.co/VideoRebirthAI/hyperflow-h3-flash
Realism LoRA for HyperFlow: https://civitai.com/models/3041489/mmh3-realism-slider-hyperflow-h3-flash-port

무엇을 할 수 있나요? 그래프가 아닌 샷을 작성합니다. 각 클립은 몇 개의 텍스트 필드로 구성됩니다. 하나의 프로젝트 스타일이 모든 샷에 적용됩니다. 사람과 장소는 동일하게 유지할 수 있습니다. 사진 속 출연진을 캐스팅 멤버로 추가하고, 어떤 샷에서든 @Name으로 참조할 수 있습니다. 초안(draft)을 먼저 만들고, 최종본(final)을 만듭니다. 초안은 4단계(steps)로 640x352 크기입니다. 최종본은 HyperFlow H3 Flash에서 6단계(steps)로 1344x768 크기로 생성된 후, 확대되고 다시 그려져 1920x1088 크기가 됩니다. 사운드는 이미지와 함께 제공됩니다. 모든 샷은 자체 사운드와 함께 렌더링되며, 타임라인에는 'Picture 레인'과 'Sound 레인'이 있습니다. 눈에 보이는 커트 없이 샷들을 연결할 수 있습니다: 샷을 앞이나 뒤로 연장하거나 두 샷을 이어 붙일 수 있습니다. 녹음된 음성으로 생성할 수도 있으며, 에이전트가 구동할 수 있습니다. 에디터가 수행하는 모든 작업은 HTTP 호출이며, 해당 레포지토리는 작은 Python 클라이언트와 함께 에이전트 스킬을 제공합니다.

필요한 것들: ComfyUI 0.43 이상 (0.44에서 테스트됨). 다른 커스텀 노드 팩은 필요하지 않습니다. 모델들은 README에 크기와 폴더별로 나열되어 있습니다.
VRAM: RTX PRO 6000을 넘어서는 부분은 많이 테스트해보지 못했기 때문에 현재 기준점(floor)을 알 수 없습니다. 더 작은 카드에서 시도해 보시고 결과를 알려주세요. 제 장치(RTX PRO 6000, 모델 로드 완료 상태)를 기준으로 한 수치는 다음과 같습니다.
초안: 클립당 10~15초입니다. 최종본: 영상의 매 초당 약 50초의 GPU 시간이 필요하므로, 5초짜리 샷은 약 4.5분 정도 소요됩니다.

비디오가 만들어진 과정 (모든 것이 ComfyUI에서 로컬로 생성됨)
샷: 에디터를 통해 MiniMax H3를 사용했으며, HyperFlow H3 Flash 체크포인트와 리얼리즘 LoRA를 사용했습니다.

세 개의 샷으로 구성되었으며, 각 샷은 텍스트로 작성되고 고유한 사운드로 렌더링되었습니다. 화면에 표시되는 문장들은 실제 샷 텍스트의 오프닝 라인입니다. 출연진(Cast): 요리사가 한 명의 출연자로 등장하며, 이 인물은 Krea 2 Turbo로 만든 단일 스틸 이미지에서 가져왔고, 각 샷에서는 @Chef로 참조됩니다. 음악: YuE2이며, ComfyUI에서도 사용되었습니다. 샷 주변 그래픽(노드 그래프, 유형, 에디터 장면): 코딩 에이전트를 위한 저의 모션 그래픽 기술을 사용하여 코드 렌더링되었으며, 이 역시 오픈 소스입니다: https://github.com/igorls/motion-graphics . 로컬 모델이 아닌 유일한 부분은 코딩 에이전트(Fable 5.2)가 장면 코드를 작성했다는 점입니다. 모든 샷에 적용된 프로젝트 스타일: 라이브 액션, 시네마틱, 35mm 아나모픽 필름룩. 서비스 마감 시간의 어두운 전문 레스토랑 주방을 배경으로 하며, 따뜻한 텅스텐 열램프 빛만이 비추고 나머지 모든 것은 깊은 청록색-검은 그림자에 잠겨 있습니다. 얕은 피사계 심도(Shallow depth of field), 얇은 증기 안개, 미세한 필름 그레인, 자연스러운 색상입니다.

에디터에 작성된 첫 번째 샷: 발생하는 일: @Chef가 패스(pass)의 흰 접시 가장자리를 닦습니다. 그녀 뒤로 불꽃이 타올랐다가 사그라집니다. 패스는 빛나는 열램프 줄 아래 길게 브러시드 스틸 재질이며, 레인지 위의 팬에서 높고 주황색 불꽃이 피어올라 잠시 동안 주방 전체를 밝히다가 사라집니다. 증기가 램프 빛을 타고 떠다닙니다. 카메라: 패스의 다이닝 쪽에서 눈높이의 와이드 샷(Wide shot), 느린 푸시 인(slow push in). 사운드: 가스 불꽃이 타오르는 '쉬익' 소리와 포효음, 팬이 지글거리는 소리, 추출 환풍기(extractor fans)의 낮은 웅웅거림. 음악이나 목소리는 없습니다.

완벽하지 않았던 부분: 모델이 항상 프레이밍을 따르지는 않습니다. 저는 익스트림 클로즈업(extreme close-up)을 요청했지만, 헤드 앤 숄더스(head and shoulders)가 나왔습니다. 작은 소품들이 샷 사이를 떠다닙니다. 얼굴은 세 샷에 걸쳐 동일하게 유지되었지만, 플레이팅된 요리는 그렇지 않았습니다. 최종 결과물은 초당 프레임마다 드래프트 프레임을 반복하지 않으며, 사운드 역시 고유합니다. 드래프트는 프롬프트가 작동하는지 여부를 알려줄 뿐, 최종 결과물이 정확히 어떻게 보일지는 알 수 없습니다. 피드백과 버그 보고를 환영하며, 특히 저보다 낮은 성능의 카드(smaller cards)를 사용하는 분들의 의견을 기다립니다.
제출자: /u/igorls1 [link] [comments]