MiniMax는 2026년 7월 31일에 H3를 출시했습니다. 엔지니어링 관점에서 흥미로운 점은 단순히 모델이 무엇을 할 수 있느냐가 아니라, API 표면(API surface)이 어떻게 구조화되어 있으며 그로부터 어떤 통합 패턴(integration patterns)이 나타나는가 하는 점입니다. 이 포스트에서는 구축을 시작하기 전에 알아두어야 할 아키텍처, 엔드포인트 라우팅(endpoint routing), 시스템 디자인으로서의 프롬프트 엔지니어링(prompt engineering), 그리고 프로덕션 패턴(production patterns)을 다룹니다.

모델 개요 (Model Overview)

MiniMax H3 (모델명: Hailuo 3.0)는 통합 멀티모달 (multimodal) 비디오 생성 모델입니다. 단일 아키텍처가 텍스트-투-비디오 (text-to-video), 이미지-투-비디오 (image-to-video), 참조 기반 생성 (reference-based generation), 그리고 지시 기반 편집 (instruction-based editing)을 처리합니다. 출력: 네이티브 2K (2560×1440), 24fps, 클립당 5-15초이며, 동일한 추론 패스 (inference pass)에서 동기화된 스테레오 오디오가 생성됩니다.

생성당 입력 예산: 최대 12개 파일 (이미지 9개 + 비디오 클립 3개 + 오디오 클립 3개). 오디오는 최소 하나 이상의 이미지 또는 비디오 없이 제출할 수 없습니다. API는 오디오 전용 페이로드 (audio-only payloads)를 거부합니다.

엔드포인트 아키텍처 (Endpoint Architecture)

API는 입력 구성에 따라 세 가지 엔드포인트로 라우팅됩니다:

text-to-video — 텍스트 프롬프트 (Text prompt)만 사용합니다. 미디어 첨부 파일은 없습니다. 가장 단순한 통합 경로입니다.

first-and-last-frame — 텍스트 + 실제 시작/종료 프레임으로 지정된 이미지들을 사용합니다. 모델은 그 사이를 보간 (interpolate) 합니다. 사용 사례: 결정론적인 시작 및 종료 상태가 필요한 제어된 A→B 전환.

reference-to-video — 텍스트 + 창의적 참조(프레임이 아님)로서의 미디어 파일들을 사용합니다. 이것이 강력한 엔드포인트입니다. 아이덴티티 잠금 (identity locking), 모션 전이 (motion transfer), 스타일 매칭 (style matching), 보이스 클로닝 (voice cloning), 그리고 클립 편집을 지원합니다. 각 파일은 프롬프트 텍스트 내에서 명시적인 역할 할당 (role assignment)을 받습니다.

fal.ai에서는 이들이 세 개의 별도 엔드포인트로 노출됩니다. 라우팅 로직은 간단합니다:

if no_media_attached:
    endpoint = "text-to-video"
elif image_designated_as_frame:
...

참조 역할 할당 (Reference Role Assignment)

reference-to-video 엔드포인트의 핵심 설계 패턴은 업로드된 각 파일에 대해 프롬프트 내에서 역할을 선언하는 것입니다. 이는 메타데이터가 아니라, 프롬프트 본문에 포함되는 자연어(natural language)입니다.

지원되는 역할 패턴:

• identity — 캐릭터의 얼굴/외형 고정 (이미지)
• wardrobe — 적용할 의상 (이미지)
• style — 색상/질감/미적 방향성 (이미지)
• environment — 배경 설정 (이미지)
• motion — 복제할 안무 또는 카메라 경로 (비디오)
• edit_target — 수정할 기존 클립 (비디오)
• voice — 복제할 음성 특성 (오디오)
• music — 시각적 동기화를 위한 리듬 구조 (오디오)

역할 할당이 포함된 프롬프트 예시:

Image 1 = character identity reference.
Image 2-4 = wardrobe references.
Video 1 = camera movement reference.
...

안티 패턴(Anti-pattern): 역할을 지정하지 않고 여러 파일을 한꺼번에 쏟아붓는 것. 모델은 할당되지 않은 참조를 모호하게 처리하여 예측 불가능한 결과물을 생성합니다.

시스템 설계로서의 프롬프트 엔지니어링 (Prompt Engineering as System Design)

H3 프롬프트는 구조화된 7요소 형식에 가장 잘 반응합니다. 이를 창의적인 글쓰기가 아닌 스키마(schema)로 생각하십시오:

[preservation]  — 변경되지 말아야 할 것 (I2V 전용, 첫 번째 줄)
[subject]       — 프레임 안에 있는 대상
[action]        — 클립 동안 변화하는 것
...

[sound] 요소는 아키텍처 측면에서 매우 중요합니다. H3는 사후 처리(post-processing) 방식이 아니라, 동일한 추론 단계(inference pass)에서 스테레오 오디오를 생성합니다. 모호한 오디오 지시어("좋은 배경음")는 일반적인 결과를 낳습니다. 구체적인 지시어("나무 바닥 위의 발소리, 에스프레소 머신의 쉬익 하는 소리, 낮은 볼륨의 카페 대화 소리, 80bpm의 어쿠스틱 기타, 타악기 제외")는 레이어가 쌓인, 바로 제작에 사용할 수 있는 수준의 사운드스케이프(soundscapes)를 만들어냅니다.

이미지-투-비디오 (image-to-video) 프롬프트의 경우, [preservation] 라인이 매우 중요합니다. 업로드된 이미지는 이미 외형과 구도를 전달하고 있습니다. 따라서 프롬프트는 무엇이 변해야 하는지(움직임, 카메라, 환경 변화)와 무엇이 고정되어야 하는지(제품 라벨, 얼굴 정체성, 브랜드 요소)에 집중해야 합니다. 명시적인 보존 (preservation) 지침이 없으면, 모델은 사용자가 정적으로 유지하려 의도한 요소들을 창의적으로 재해석할 수 있습니다.

제작 패턴 (Production Patterns)

패턴: 비용 계층형 렌더링 (Cost-Tiered Rendering)

1단계: 768p 초안 — 프롬프트 + 참조 조합 테스트
2단계: 초안 결과로부터 창의적 방향 확정
3단계: 확정된 파라미터를 사용한 2K 최종 렌더링
...

이 방식은 전체 해상도 생성 횟수를 최소화합니다. 15초 분량의 2K 클립당 약 1달러의 비용이 발생하므로, 제작 물량이 많아질수록 절감 효과는 복리로 커집니다.

패턴: 지시 기반 수정 루프 (Instruction-Based Revision Loop)
부분적인 불만족이 생겼을 때 처음부터 다시 생성하는 대신, 현재 클립을 edit_target으로 첨부하고 변경 사항(delta)만을 지정하십시오:

[edit_target = 현재 클립]
"배경을 일몰 시간의 루프탑 테라스로 변경.
 따뜻한 황금빛 조명.
...

한 번의 수정 패스(edit pass)당 하나의 요소만 처리하십시오. 여러 요소를 한꺼번에 수정 요청하는 것보다, 단일 요소를 순차적으로 수정하는 것이 더 통제된 결과를 만들어냅니다.

패턴: 생성 간 캐릭터 일관성 (Character Consistency Across Generations)
동일한 캐릭터가 등장하는 멀티샷 (multi-shot) 시퀀스의 경우:

1. 모든 생성 단계에서 동일한 정체성 참조 이미지 (identity reference image)를 사용합니다.
2. 프롬프트 텍스트를 통해 정체성을 강화합니다 (헤어스타일, 의상, 특징적인 요소).
3. 이미지는 시각적 기준점 (anchor) 역할을 하며, 텍스트는 이미지가 완전히 제어하지 못하는 세부 사항의 이탈 (drift)을 방지합니다.

텍스트 강화 없이 이미지로만 정체성을 참조할 경우, 생성 과정에서 캐릭터가 변하는 이탈 현상이 나타납니다. 이중 앵커 (dual-anchor) 방식(이미지 + 텍스트)이 훨씬 더 견고합니다.

패턴: 오디오 동기화 콘텐츠 파이프라인 (Audio-Synced Content Pipeline)
음악 트랙을 오디오 참조 (audio reference)로 업로드하십시오. 프롬프트에 음악적 이벤트와 결합된 시각적 이벤트를 기술합니다:

Audio 1 = 음악 참조.
"비트 1의 심벌즈 타격 시 와이드 샷으로 하드 컷 (hard cut).
 0:04의 베이스 드롭 시 슬로 모션으로 전환.
...

H3의 오디오 이해 (audio comprehension) 기능은 리듬 구조를 추출하여 그에 맞춰 시각적 전환 (visual transitions) 시점을 조절합니다.

제약 사항 및 한계 (Constraints and Limitations)

해상도 상한선: 2K. 4K 출력은 지원하지 않음 (Kling 3.0은 네이티브 4K 지원). 클립 길이: 생성당 최대 15초, 확장 시 약 30초. 현재 셀프 호스팅 (self-hosting) 옵션 없음 — MiniMax 인프라 및 파트너 플랫폼을 통한 API 전용 서비스. 오디오 입력은 반드시 시각적 입력과 함께 제공되어야 함. 비디오 참조 클립 (Video reference clips): 각 2~15초, 총합 ≤15초. 오디오: MP3 형식만 가능, 각 ≤15초.

오픈 웨이트 (Open weights) 출시가 발표되었으나 (