MiniMax H3, ComfyUI 출시 당일 지원 — 오픈 가중치·네이티브 오디오·2K 영상
요약
MiniMax H3 모델이 ComfyUI를 지원하며 출시되었습니다. 오픈 가중치 모델로서 네이티브 오디오와 2K 영상 생성을 지원하며, 효율적인 메모리 관리 기술을 통해 로컬 환경에서도 실행 가능합니다.
핵심 포인트
- 오픈 가중치 제공으로 커뮤니티 접근성 및 비용 절감 기여
- 조회 테이블을 활용한 변조 가중치 최적화로 메모리 사용량 대폭 절감
- RTX 3060 등 소비자용 GPU에서도 2K 영상 모델 로컬 실행 가능
- 텍스트-영상 변환 품질과 생성 속도 면에서 비약적인 발전 확인
모델 매개변수의 약 40%인 변조 가중치를 품질 손실 없이 조회 테이블로 대체하는 방식이 흔한지 궁금함. 너무 단순해 보이는데 LLM에도 적용할 수 있을지 의문임
프레임 간 생성은 인상적이지만, 여러 클립을 이을 때 움직임의 관성이 끊기는 문제를 얼마나 잘 해결할지도 궁금함
잘 알려진 기법임. 시간 단계가 0~1 사이이므로 이를 1,000개나 10,000개 정도로 나누고 각 단계의 변조 스케일과 편향을 조회 테이블에 저장하면 됨
양자화와는 상당히 다르며 실제로 무손실이지만, 시간 단계별로 동작하는 확산 모델에만 적용 가능함
여기서 변조 가중치는 작업에 따라 층 정규화를 조절하는 adaLN 가중치를 뜻함. 범용 LLM에는 대체로 이런 가중치 자체가 없음
사실상 조회 테이블로 구성된 FPGA의 고처리량 응용에도 적용할 수 있을지 궁금함
몇 주 전 HN에 KAN 네트워크를 조회 테이블로 쉽게 근사해 FPGA에 구현한 논문이 올라왔던 것으로 기억함
모든 가중치를 저장하는 대신 층의 가중칫값을 추정하는 공식을 만들어, 층을 JPEG처럼 취급할 수도 있다는 뜻인지 궁금함
RTX 4070 Ti Super 16GB에서 실행해 보니 480p 10초 영상 생성에 10분이 걸렸지만 결과는 훌륭함
RTX 5080 16GB에서는 마우스 영상 작업 흐름의 길이를 5초에서 10초로 바꿨을 때 480p 10초 영상에 3분이 걸림
본질적으로 비텍스트인 지식을 다중 모달 모델이 어떻게 다룰지 특히 궁금함. 최신 LLM도 전자공학, 특히 아날로그 전자공학에는 매우 약함
MiniMax H3가 논리적·기술적 추론도 가능한지, 순수하게 예술 제작에 특화됐는지 궁금함
같은 그래픽카드로 시도해 보고 싶은데 사용한 Comfy 작업 흐름을 공유해 줄 수 있는지 궁금함
더 큰 장비에서 1080p 10초 클립을 생성해 봤지만 결과가 형편없어 어디에도 쓸 수 없었음
고등학교 때 생각했던 패러디 아이디어 몇 개를 RTX에서 MiniMax M3로 만들어 봄. 평범한 상황을 벗어나면 여전히 어색한 부분이 많고, 특히 사람을 바퀴에 묶어 돌리는 게임 쇼처럼 기묘한 발상에서는 결과가 쉽게 무너짐
그래도 전반적인 텍스트 영상 변환 품질과 속도에는 놀랐음. 10초짜리 0.5메가픽셀 영상을 몇 분 만에 생성하는 것은 초기 WAN 시절을 떠올리면 놀라운 수준임
영상 예시: https://imgpb.com/rllwg
마우스 렌더링은 놀라울 정도로 좋고, 일부 클립은 현재 최첨단 모델보다 크게 도약한 것처럼 보임
어색한 부분은 음료 광고에서 캔을 여는 장면으로, 여전히 특유의 AI식 매끈함이 남아 있음. 다행히 이런 장면은 전통적인 렌더링으로도 잘 처리할 수 있음
당분간 전통적인 클로즈업 렌더링·촬영과 AI가 생성한 원경·빠른 컷을 조합하는 제작 방식으로 전환될 듯함. 흥미롭지만 우려스럽기도 하며, 공개 가중치라는 점은 커뮤니티에 큰 이득임
그 직전 접시를 들고 올라가는 사람이 숨 쉬는 장면에서도 입에서 나오는 수증기와 호흡의 타이밍이 맞지 않음
아직 Seedance 2.0·2.5보다 약 1년 반 뒤처진 수준이지만, 선도 기반 모델에 가격 압박을 가할 흐름을 보여줌. 오픈 소스가 비용의 폭주를 막아줄 것임
과민한 플랫폼 안전 검사기가 창작 작업을 차단하는 문제도 피할 수 있음. 영상 모델은 많은 요청을 거부하는 것으로 악명 높음
창작자는 클라우드나 사설 GPU 클러스터를 선호할 것임. 480p 몇 초를 위해 10분을 기다리는 것은 실제 제작에 받아들이기 어려우며, 취미 사용자는 즐기겠지만 대부분의 제작은 클라우드에서 이뤄질 것임
예술가의 시간에는 비용이 들고, 생성 공간을 빠르게 탐색해 작업을 완성하려면 수십 개의 생성을 동시에 실행하는 편이 유리함
전체 메모리 사용량을 완전 정밀도의 123.6GB에서 최소 모델 변형의 42.5GB로 66% 절감하고, 동적 VRAM 오프로딩까지 결합해 RTX 3060에서 차세대 2K 영상 모델을 로컬로 실행할 수 있다는 점이 인상적임
16GB RTX 3060에서 15초 클립 생성에 얼마나 걸릴지 궁금함
약 10분 걸림
기술적으로는 인상적이지만 미적으로는 전부 고통스러울 만큼 밋밋하고 전형적으로 보임
원인이 모델인지 프롬프트인지 불분명함. AI 모델 Instagram 계정을 운영하는 이들은 배경, 조명, 화장, 자세, 분위기, 의상 등을 매우 길고 상세하게 지정하고, 이미지 간 얼굴과 신체의 일관성을 위해 참조 이미지도 사용하는 것으로 알고 있음
충분히 상세한 프롬프트가 자연스러운 질감을 지닌 흥미로운 영상을 실제로 생성할 수 있을지는 확실하지 않음
지금이 이 모델의 가장 낮은 품질일 테니 조금 기다려 볼 만함
흥미로운 문제이며, 작업마다 에이전트가 실제로 필요로 하는 도구만 불러오는 방식으로 비슷한 효과를 얻은 적이 있음
Mac Studio Ultra 같은 Mac 기기에서 실행해 본 사람이 있는지 궁금함
실행해 봤지만 소프트웨어 오류로 실패함
참조 이미지 기반 영상 생성만 있으면 독립적인 영상 제작이 가능해질 듯함. 현재는 장면의 상당 부분을 바꾸지 않고 서로 다른 장면을 제대로 이어 붙이기 어려움
공개된 예시를 보고 곧바로 LTX2와 WAN 폴더를 삭제함. 이제는 완전히 쓸모없다고 판단함
미국·영국·EU 등에서 라이선스를 둘러싼 논란이 있지만, 예시 결과만큼은 대단함
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기