오랫동안 작업해 온 내용이라서 방금 저장소(repo)를 공개했습니다. Kinoloom은 사용자의 Windows PC에서 실행되는 웹 애플리케이션으로, 아이디어를 입력하면 영화로 만들어 줍니다. 사용자가 어떤 LLM을 이용하든 스토리를 작성하고, 캐릭터를 생성하며, 스튜디오가 장면들을 렌더링하고, 이를 확인한 후 편집하여 연결합니다. 모든 과정은 ComfyUI 위에서 로컬로 실행됩니다. 제 PC는 RTX 3070 8GB와 64GB RAM을 갖추고 있으며, 이 시스템에서만 테스트되었습니다. Minimax H3에 대해 말씀드리자면: 완전히 지원되지만, 쇼케이스의 모든 클립은 LTX 2.5로 생성되었습니다. H3의 라이선스는 EU, 영국, 대한민국 및 미국 외 지역에서의 사용만을 허용하며, 출력물을 보여주는 것도 제한합니다. 저는 EU 거주자이므로 H3 클립을 게시하지 않습니다. 만약 이 지역 밖에 계시다면, 사용자 본인이 H3 가중치(weights)를 가져오시면 됩니다. 설치 프로그램이 나머지를 설정해 줍니다. 영상은 LTX 2.5로 생성된 16초 분량의 테이크이며, 4초, 8초, 12초 지점에서 네 개의 세그먼트로 연결됩니다. 일반적으로 각 조각은 이전 프레임부터 시작하기 때문에 연결 지점마다 끊김이 보이지만, Kinoloom은 각 조각의 끝 부분을 다음 조각으로 잠재 공간(latents)을 통해 전달합니다. 이후 픽셀로 변환되기 전에 전체 테이크를 한 번에 디코딩합니다. 이 16초 클립은 제 3070에서 약 28분이 걸렸습니다. 나머지 부분은 Qwen image 2.1이 캐릭터와 각 장면의 첫 프레임을 생성하며, 이때 캐릭터가 참조 자료로 사용됩니다. 정지 이미지는 모델이 워밍업된 후에도 제 하드웨어에서 약 38~78초가 소요될 수 있습니다.
LTX 2.5와 H3 외에도 Wan 2.2 (레거시, 구형 프로젝트용으로 보존)와 다섯 가지 이미지 모델도 있습니다. 필요한 것들: Windows(저는 11만 테스트했습니다) 운영체제와 8GB 이상의 Nvidia 카드, 그리고 64GB RAM입니다. 왜냐하면 큰 모델의 일부가 RAM에 저장되기 때문입니다.
선택한 모델들을 위한 디스크 공간이 필요합니다. 모든 것을 설치할 필요는 없으며, 원하는 가중치만 선택하여 설치할 수 있습니다. INSTALL.bat은 모델 가중치를 제외하고 나머지 모든 것을 설정해 줍니다.
LTX 2.5로 생성된 5초 클립 하나는 워밍업된 후 약 6분이 걸립니다. 이 프로젝트는 저 혼자 진행한 것이고 제 PC에서만 실행되었기 때문에, 다른 하드웨어에서 시도해 보신다면 어떻게 되었는지, 그리고 피드백을 들려주시면 감사하겠습니다!
https://github.com/harlixay7/Kinoloom 코드는 MIT 라이선스입니다 (예외 사항은 THIRD_PARTY_NOTICES.md에 명시되어 있습니다). 또한 모델들은 자체 라이선스를 유지합니다. /u/Dry-Acanthisitta-652가 제출했습니다 [link] [comments]
