H3 비디오에서 이전 장면을 되살리는 ComfyUI 도구 제작 — 오픈 소스 Higgsfield 출품작

Comfy의 Open Source Higgsfield 콘테스트에 H3 Continuity Studio를 제출하게 되어 이곳에 공유하고자 합니다. 제가 중요하게 생각했던 테스트는 꽤 간단했습니다. 많은 세부 사항이 있는 방을 생성하고, 집 밖으로 이동했다가 다시 안으로 돌아오는 것입니다. 여전히 같은 방처럼 보일까요? 그리고 카메라를 다른 구석으로 옮기면 어떻게 될까요? 데모는 이 점에 중점을 두고 제작되었습니다. 방의 연속성, 외부 전경, 내부 복귀, 다른 카메라 각도, 그리고 최종적인 연결성을 따라갑니다. 비교하기 쉽도록 몇 가지 세부 사항을 표시했습니다: 햇빛이 비치는 거울(sunburst mirror), 무화과 식물(fig plant), 겨자색 쿠션(mustard cushions), 생강 고양이(ginger cat), 찻주전자, 그리고 벽난로입니다. 또한 동일한 프롬프트와 시드를 사용하여 메모리-오프(memory-off) 비교도 가능합니다. 이 도구는 MiniMax H3용 무료 ComfyUI 노드 팩입니다. 편집 가능한 클립으로 타임라인을 구성하고, 이전 클립의 컨텍스트를 다음 클립으로 전달하거나, 나중에 촬영하는 장면이 이전 장면의 선택된 순간들을 바라보도록 지정할 수 있습니다. 개별 클립도 재촬영할 수 있습니다. 만약 이 부분이 자동화되기를 원한다면, H3 Story가 타임라인을 계획하고 작성해 줄 수 있습니다. 이는 OpenAI와 호환되는 엔드포인트(로컬 또는 클라우드)를 통해 작동합니다. 여전히 판단력과 재촬영이 필요합니다. 메모리가 완벽한 기하학적 구조를 보장하지는 않으며, 초기 시도 중에는 물체가 나타나거나 카메라가 이전 각도로 돌아가는 문제가 있었습니다. 데모는 이러한 문제들을 수정한 후의 결과를 보여줍니다.

코드, 설정 및 예시 워크플로우: https://github.com/KadoBOT/ComfyUI-H3-Continuity-Studio
데모 비디오:

레포지토리에는 또한 데모에 사용된 프롬프트, 시드 및 선택된 메모리 순간들이 포함되어 있습니다. 프로젝트 코드는 MIT 라이선스이며, 모델 가중치(model weights)는 별도의 이용 약관이 적용됩니다. 다른 사람들이 이 도구로 어떤 장면-메모리 테스트를 해볼지 궁금합니다.

제출자: /u/rambrogi [링크] [댓글]