Comfy Open Source Higgsfield 챌린지 출품작: ComfyUI 기반 오픈 소스 멀티샷 AI 비디오 스튜디오 HyperKut

이것은 Comfy Open Source Higgsfield 챌린지에 제출하는 저의 작품입니다. 바로 'HyperKut Studio'라는 이름의 로컬 스튜디오로, 레퍼런스 편집본, 아이디어 또는 사용자가 직접 만든 트랙을 계속해서 연출할 수 있는 짧은 멀티샷 비디오로 변환해 줍니다. https://majoorwaldi.github.io/HyperKut-Studio/

데모 (2분 미만):

세 가지 작동 방식

• 리믹스(Remix): 원하는 편집본과 피사체의 사진을 제공합니다. 시스템이 컷, 구도, 리듬을 분석한 후, 사용자의 피사체로 모든 장면을 다시 그립니다.
• 텍스트(Text): 짧은 아이디어를 작성합니다. Gemma 4가 샷 목록(shot list)을 작성하고, MiniMax H3가 해당 샷들을 렌더링하며, YuE2가 사운드트랙을 만듭니다.
• 음악(Music): 사용자가 트랙을 넣습니다. 비트가 각 컷이 떨어지는 지점을 설정합니다.

제가 중요하게 생각한 부분: 편집 가능성 유지
생성된 비디오는 첫 번째 초안일 뿐, 최종 결과물이 아닙니다. 따라서 다음 작업을 할 수 있습니다:

• 다른 장면을 건드리지 않고 특정 샷만 재생성할 수 있음
• 여러 테이크를 보관하고 타임라인에서 교체할 수 있음
• 생성 후에도 트림(trim), 컷, 재배열이 가능하며, 새로운 렌더링 없이 내보내기 할 수 있음

실제 수치 (제출부터 최종 비디오 완성까지의 중앙값, 첫 실행 프로젝트 기준, RTX 4090 24 GB 사용, 모델 로딩 시간 포함):

• 초안(Draft): 5분
• 최대(Max): 10.6분
• 표준(Standard): 11.5분

28샷의 패션 리믹스는 21분이 소요되었습니다.

내부 작동 방식 (Under the hood)
모든 모드는 레포지토리에 있는 순수한 ComfyUI 워크플로우로, 제가 만든 Majoor VideoTools 노드를 기반으로 구축되었기 때문에 사용자가 열고 변경할 수 있습니다. Studio(FastAPI + React)는 ComfyUI 앞에 위치한 로컬 comfy-api-proxy를 통해 작업을 전송하고, 진행 상황을 브라우저로 스트리밍합니다.

이번 챌린지는 Higgsfield에 대한 오픈 소스 접근 방식을 요구했습니다. 저는 Katana, Genjutsu, Cinema Studio에서 영감을 받아 HyperKut을 짧은 바이럴 클립과 작은 이야기들에 초점을 맞추었습니다.

• 코드 (MIT): https://github.com/MajoorWaldi/HyperKut-Studio
• 13가지 예시와 정확한 프롬프트가 포함된 프로젝트 페이지: https://majoorwaldi.github.io/HyperKut-Studio/
• 노드: https://github.com/MajoorWaldi/ComfyUI-Majoor-VideoTools
• 챌린지: https://comfy.org/open-source-higgsfield

현재는 Windows + NVIDIA 환경에서 작동합니다.

후반 작업(효과, 타이틀, 모션 그래픽스, 사운드 디자인)은 베타 버전이며 기본적으로 비활성화되어 있습니다. 등장하는 모든 인물은 제가 AI로 생성한 것입니다. 패션 리믹스(Remix) 레퍼런스는 silver.muse의 작품입니다. HyperKut은 독립적인 프로젝트이며 Higgsfield와는 관련이 없습니다. 피드백을 환영하며, 특히 리믹스 모드(Remix mode)에 대한 의견을 부탁드립니다. #OpenSourceHiggsfield #ComfyUI #AIVideo #OpenSource #MiniMaxH3 /u/Main_Creme9190 님이 제출했습니다 [link] [comments]