MiniMax H3를 위한 Forge Neo 확장 기능: 사운드와 함께 텍스트 또는 이미지를 비디오로 (참조 이미지 포함, 16 GB에서 작동)

저는 MiniMax H3가 Forge Neo 내부에서 실행되는 확장 기능을 개발해 왔습니다. H3는 사진과 소리를 한 번에 결합합니다: 발소리, 빗소리, 엔진 소리, 음악 및 대화 등 거의 모든 언어에서 화자에 맞춰 입술이 움직이는(lip-synced) 사운드를 만듭니다. 위의 비디오는 Forge가 저장한 그대로, 시스템 RAM 32 GB를 가진 16 GB 카드에서 나왔습니다. 이 기능은 일반적인 txt2img 및 img2img 탭에서 작동하며, 동일한 체크포인트 목록, VAE/Text Encoder 선택기 및 Generate 버튼을 사용합니다. 평소 결과 영역에 스테레오 사운드가 포함된 MP4 파일이 생성됩니다. 별도의 프로그램이나 새 탭이 필요하지 않으며, 추가 Python 패키지도 필요 없고, Forge Neo 파일도 변경되지 않습니다.

작동 방식: 사운드와 함께 비디오를 만드는 기능으로, 최대 15초 분량의 24 fps까지 지원합니다. 첫 프레임과 마지막 프레임: img2img 이미지가 첫 프레임이 되고, Forge의 ImageStitch Integrated에 있는 이미지가 마지막 프레임이 되거나, 둘 다 될 수 있습니다.
참조 이미지 (Ref2VA): 클립을 유지하는 인물, 장소 및 사물 최대 9개까지 지원합니다.
작은 파일 크기: W4A8, GGUF 및 INT4 텍스트 인코더를 사용하여 24 GB 및 16 GB 카드에 맞게 했습니다.
LoRAs (8단계 초안용 turbo LoRA), FastH3 및 커뮤니티 파인튜닝을 지원합니다. Forge의 자체 도구: Never OOM, Sparse Attention (H3에 맞춰 조정되어 긴 클립에서 최대 4분의 1 더 빠름), ck attention, 실시간 미리보기(live preview) 기능을 제공합니다.

하드웨어 사양에 대해 현실적으로 접근해야 합니다. A40 (48 GB), RTX 4090 (24 GB), RTX 2000 Ada (16 GB)에서 테스트했습니다. A40에서는 5초 분량의 960×544 클립이 20단계 기준으로 약 3분이 걸렸고, turbo LoRA를 사용하면 약 1분 정도 걸렸습니다. 위의 마법사(8초)는 16 GB 카드에서 27분이 걸리는 느린 속도였습니다. 시스템 RAM은 GPU만큼 중요합니다: 작은 파일을 사용할 경우 약 32 GB가 필요하고, INT8 세트를 사용할 경우 약 50 GB가 필요합니다. 16 GB 미만의 카드는 테스트되지 않았습니다.

위키에 모든 것이 있습니다: 프롬프트, 설정 및 시간과 함께 모든 예시, MiniMax의 프롬프트 형식 가이드, 파일 형식 및 속도 옵션 비교, 문제가 발생한 클립과 이를 방지하는 방법을 담은 Bloopers 페이지, 그리고 테스트 과정에서 만들어진 168개 클립 전체를 모아 놓은 All Generations 페이지가 있습니다.

Repo: https://github.com/eduardoabreu81/minimax-h3-forge-neo Wiki: https://github.com/eduardoabreu81/minimax-h3-forge-neo/wiki Bloopers: https://github.com/eduardoabreu81/minimax-h3-forge-neo/wiki/Bloopers 최신 Forge Neo(2026년 10월 3일 이후의 neo 브랜치)가 필요합니다. Extensions 탭의 URL에서 설치하고 다시 시작하세요. 아직 작업 중인 부분이므로 피드백과 버그 보고를 환영합니다. 다음 기능으로는 참고용 비디오 및 오디오 클립, 그리고 포즈(pose), 깊이(depth), 가장자리(edge) 제어 기능이 예정되어 있습니다. /u/digitalhunters0 님이 제출했습니다 [링크] [댓글]