DMAD: 네이티브 오디오를 활용한 AI 비디오 생성의 빠르고 효율적인 접근법

개요

DMAD는 330억 개의 매개변수를 가진 MiniMax-H3 텍스트-투-오디오-비디오 모델을 50개의 노이즈 제거(denoising) 단계에서 4단계로 압축한 (distills) rank-128 LoRA 어댑터 세트입니다. 이 모델은 네이티브 스테레오 오디오가 포함된 1344×768 비디오를 생성합니다. 저장소에는 독립적인 기본 모델(base model) 대신 두 개의 1.4 GB 크기의 어댑터 체크포인트가 제공됩니다. 유지 관리자는 ZhengmingYu입니다. 핵심 실용적 사항은 4단계 샘플링이 MiniMax-H3을 다운로드하고 실행하는 것과 어댑터를 적용하는 것을 모두 필요로 하므로, 작은 어댑터 파일 크기가 낮은 전체 하드웨어 요구사항을 의미하지 않는다는 것입니다. 이 프로젝트는 Diffusers와 호환되는 가중치(weights)를 설명하고 추론 코드 및 Diffusers-pipeline 예제를 제공하지만, 이번 릴리스에 대한 GPU 메모리 요구 사항이나 측정된 추론 시간은 명시하고 있지 않습니다.

최적 사용 사례

동기화된 사운드가 포함된 프롬프트 기반 비디오 클립. 프롬프트가 비디오와 네이티브 스테레오 오디오를 모두 한 번의 생성으로 만들어야 할 때 DMAD를 선택하십시오. 이 어댑터는 공동 텍스트-투-오디오-비디오 모델인 MiniMax-H3을 목표로 하며, 제공된 샘플링 구성은 24fps에서 124프레임을 생성합니다. README의 미리 보기에는 표시된 클립이 비디오만 보여주지만, 각 클립에는 생성된 오디오도 포함되어 있음을 알려줍니다.

짧은 비디오 컨셉에 대한 빠른 반복 작업. 교사(teacher) 모델의 50단계 대신 4개의 노이즈 제거 단계는 이 체크포인트를 프롬프트 변형, 스토리보드 또는 시각적 방향을 테스트하는 데 적합하게 만듭니다. 생성 지연 시간(generation latency)이 중요할 때 유용합니다. README에는 벽시계 속도 벤치마크가 제공되지 않으므로, 단계 수 감소를 특정 초당 클립 보장으로 간주해서는 안 됩니다.

적은 단계로의 증류 실험. 연구원들은 공개된 어댑터를 사용하여 대규모 공동 오디오-비디오 생성기(joint audio-video generator)에 대한 적대적 분포 매칭(adversarial distribution matching)을 조사할 수 있습니다. 이 논문은 공유 백본(shared backbone) 위에 두 개의 판별자 헤드(discriminator heads)를 설명하며, 이는 실제 데이터와 교사 샘플을 학생 샘플과 구별합니다. 로짓(logits)에 대한 선형 손실(linear losses)은 보조 확산 점수 모델(auxiliary diffusion score model)을 피팅하지 않고도 학생을 훈련시킵니다.

학생 체크포인트 비교. 이 저장소는 논문(paper) 체크포인트와 완전히 훈련된 크리틱 백본(critic backbone)으로 훈련된 두 번째 체크포인트를 제공합니다. 후자는 반복(iteration) 1600에서 가져온 라이브 가중치(live weights)를 사용하며 AVGen-Bench에서 더 높은 점수를 기록하는 것으로 보고되었습니다. 반면, 논문 체크포인트는 메인 실행의 학생 모델을 800 반복 시점에서 EMA로 계산한 것입니다. 따라서 이 배포본은 그러한 훈련 선택의 효과를 평가하는 데 유용하지만, README에는 두 파일에 대한 벤치마크 테이블이나 점수가 제공되지 않습니다.

한계점 (Limitations)

DMAD는 독립적인 생성기(generator)가 아니라 어댑터(adapter)입니다. MiniMax-H3 기본 모델과 프로젝트의 추론 코드(inference code)가 필요합니다. 기본 다운로드 명령어에는 FL2VA/, Ref2VA/*, 그리고 transformer_ref/*가 제외됩니다. 따라서 1.4 GB의 어댑터 크기는 전체 저장 공간이나 메모리 사용량을 나타내지 않습니다. README에는 이 체크포인트에 대한 VRAM 최소 요구 사항, 지원 GPU 목록, 처리량(throughput), 지연 시간(latency), 배치 크기 가이드라인 또는 하드웨어 벤치마크가 제공되지 않습니다. 문서화된 출력 구성은 1344×768 해상도, 124 프레임, 24 fps입니다. 제공된 정보는 다른 해상도, 클립 길이, 프레임 속도 또는 오디오 제어에 대한 지원 여부를 확립하지 못합니다. 네 단계(steps)는 50단계의 교사 모델(teacher) 대비 샘플링 작업량을 줄이지만, README에는 그 결과로 발생하는 품질 트레이드오프를 정량화하거나 특정 시각적 또는 오디오 실패 모드를 식별하지 못했습니다. 논문 초록은 상세한 오류 분석이 아닌 종합적인 결과와 인간 선호도 비교를 보고합니다.

라이선스는 MiniMax H3 커뮤니티 라이선스 계약(Community License Agreement)입니다. 이 저장소는 이러한 가중치들을 LoRA 파인튜닝을 통해 수정된 MiniMax H3의 모델 파생물이라고 부르며, 무제한 상업적 사용이 허용된다고 명시하지 않습니다. 배포 전에 계약 내용을 검토하십시오. 제공된 자료에는 안전 필터, 편향 평가 또는 유지보수 일정이 설명되어 있지 않습니다.

비교 (How it compares)

• vdn-minimax-h3: Pick DMAD

비교 (How it compares)

• vdn-minimax-h3: DMAD를 선택하세요.

만약 문서화된 1344×768, 124프레임, 24fps의 공동 오디오-비디오 구성과 DMAD 증류(distillation) 방식을 사용하는 네 단계 어댑터가 필요하다면 DMAD를 선택하세요. VDN-H3는 하이브리드 어텐션 접근 방식과 발표된 속도가 배포 환경에 더 적합할 때 선택합니다. 이 모델은 8개의 B200 GPU와 8단계 디노이징을 사용하여 14.4초 클립을 11.23초 만에 생성한다고 보고했습니다. 이는 DMAD와 직접 비교할 수 있는 속도 벤치마크가 아닌, VDN-H3의 구체적인 속도 기준점입니다.

; 사용 가능한 정보는 상대적인 출력 품질이나 비용을 확립하지 못합니다.

• TaoMate-H3: 네 단계 고정 클립 생성 및 적대적 증류(adversarial distillation) 실험을 위해 DMAD를 선택하세요. 작은 청크 단위의 저지연 스트리밍 오디오-비디오, 연속적인 장편 생성, 그리고 명시된 480p, 768p, 1080p 옵션이 필요하다면 TaoMate-H3를 선택하세요. TaoMate-H3는 MiniMax H3를 기반으로 하며 rank-128, alpha-128 EMA LoRA 어댑터가 적용된 런타임입니다. 이 모델의 설명에는 직접 비교 가능한 속도 수치가 제공되지 않으므로, 증명된 속도 순위보다는 문서화된 고정 단계 생성 대 스트리밍 지향적 런타임 간의 트레이드오프(tradeoff)로 기록되어 있습니다.

• DMD2: 이미지 합성 모델 카드와 표준 Diffusers 사용 사례가 작업 및 파이프라인과 일치할 때 DMAD를 선택하세요. 공동 오디오-비디오 생성에 대해 동점 제외 시 인간 선호도율 79.1%로 DMAD 논문이 DMD2보다 높다고 보고했습니다. 이는 해당 작업에 대한 보고된 비교일 뿐, DMAD가 이미지 생성이나 모든 워크로드에서 더 좋다는 증거는 아닙니다.

• MiniMax-H3: 네 단계 샘플링이 우선순위이며 기본 모델과 함께 LoRA 어댑터 사용을 감수할 수 있을 때 DMAD를 선택하세요. 증류된 학생(student)보다 50단계 교사(teacher)를 원한다면 MiniMax-H3를 선택하세요. README에 따르면 H3는 33B의 텍스트-투-오디오-비디오 모델로 식별되며, 두 체크포인트 간의 속도, 비용 또는 품질에 대한 직접적인 벤치마크는 50단계에서 4단계로 줄어드는 것 외에는 제공하지 않습니다.

• minimax-h3-4step-turbo-loras-comfyui-exp: 제공된 목록에는 설명이 없으므로, 이 어댑터의 품질, 속도, 비용 또는 의도된 사용 목적을 DMAD와 비교할 충분한 정보가 없습니다.

문서화된 체크포인트 파일, LoRA 레이아웃, 샘플링 설정 및 추론 코드 저장소가 필요한 경우 DMAD를 선택하십시오. 다른 어댑터는 자체 문서를 통해 평가한 후 선택하시기 바랍니다.

기술 사양 (Technical specifications)

DMAD는 MiniMax-H3 트랜스포머에 저랭크 어댑터(low-rank adapters)를 적용합니다. 기본 모델은 33B 규모의 텍스트-투-오디오-비디오 모델로 식별됩니다. 이 어댑터들은 총 312개의 모듈에 걸쳐 50개 트랜스포머 블록과 2개 토큰 리파이너(token-refiner) 블록 전반의 어텐션 프로젝션 및 피드 포워드 레이어(feed-forward layers)를 목표로 합니다. 명시된 랭크와 알파 값은 모두 128입니다.

해당 논문은 DMAD를 적대적 증류 기반 분포 매칭(Distribution Matching as Adversarial Distillation)으로 설명합니다. 이는 분포 매칭 증류(Distribution Matching Distillation)에서 사용되는 보조 점수 피팅(auxiliary score fitting)을 분류로 대체합니다. 두 개의 판별자 헤드(discriminator heads)가 백본(backbone)을 공유하며 실제 데이터와 교사 샘플(teacher samples)을 학생 샘플(student samples)로부터 구별합니다. 판별자 로짓(discriminator logits)에 대한 선형 손실(linear losses)이 학생 모델을 훈련시킵니다. 논문은 판별자가 최적화된 지점에서, 이 손실들이 판별자 로짓과 로그 밀도 비율(log-density ratios) 간의 동일성(identity)을 통해 DMD를 근간으로 하는 분포 매칭 기울기(distribution-matching gradient)를 복구한다고 명시합니다. 또한, 실제 데이터 헤드의 실제 샘플과 교사 샘플 간의 경험적 로짓 갭(empirical logit gap)을 사용하여 노이즈 수준 전반에 걸쳐 교사 지도 학습을 조정하는 갭 기반 재가중치 부여(gap-based reweighting)도 도입합니다.

논문의 초록은 여러 작업에 걸친 결과를 보고합니다: 한 단계 ImageNet-64×64 생성에서 FID 1.04; COCO-10K에서의 네 단계 SDXL에서 14.47; 네 단계 Wan2.1-T2V-14B의 VBench 총점 85.15(비교된 몇 단계 방법 및 다단계 교사 모델 중 최고 값으로 보고됨); 그리고 MiniMax-H3-33B에서의 공동 오디오-비디오 생성에 대한 인간 선호도 비율은 동률을 제외하고 DMD2 대비 79.1%, rCM 대비 84.6%입니다. 이 수치들은 개별 모델 및 작업 전반의 논문 수준 결과이며, 출시된 MiniMax-H3 어댑터의 모든 측정값은 아닙니다.

기반 모델 (Base model): MiniMax-H3, 33B 파라미터; 텍스트-투-오디오-비디오(text-to-audio-video).어댑터 파일 (Adapter files): dmad_minimax_h3_4step_lora_critic.safetensors와 dmad_minimax_h3_4step_full_critic.safetensors, 각각 1.4 GB입니다.논문 체크포인트 (Paper checkpoint): 메인 실행의 반복(iteration) 800 시점의 학생 모델(student) EMA(Exponential Moving Average).전체 크리틱 체크포인트 (Full-critic checkpoint): 반복 1600, 라이브 가중치; LoRA 하에 고정되지 않고 완전히 훈련된 크리틱 백본(critic backbone); AVGen-Bench에서 더 높은 점수를 기록한 것으로 보고되었습니다.어댑터 레이아웃 (Adapter layout): Diffusers 키; .lora.down.weight는 모양이 [128, in]인 A이고, .lora.up.weight는 모양이 [out, 128]인 B입니다. 알파(Alpha)는 랭크(rank) 128과 같습니다.대상 모듈 (Target modules): 모든 50개의 트랜스포머 블록 및 2개의 토큰 리파이너 블록에 걸쳐 attn.to_q, attn.to_k, attn.to_v, attn.to_out.0, ff.net.0.proj, 그리고 ff.net.2입니다.샘플링 (Sampling): 4단계; 비디오의 시간 이동(time shift)은 12, 오디오는 2; 클래시파이어-프리 가이던스(classifier-free guidance) 없음; 24 fps로 124 프레임.출력 해상도 (Output resolution): 네이티브 스테레오 오디오가 포함된 1344×768 비디오.추론 구현 (Inference implementation): inference.py에는 논문의 재노이즈(re-noise) 단계 규칙과 Diffusers 파이프라인 예제가 포함되어 있습니다. 저장소의 README에 환경 설정이 설명되어 있습니다.가중치 형식 (Weight format): .safetensors; 메타데이터는 LoRA 레이아웃을 반복합니다.훈련 데이터, 훈련 컴퓨팅, GPU 메모리, 양자화 옵션 및 측정된 추론 속도: 제공된 모델 정보에는 명시되어 있지 않습니다.## 모델 입력 및 출력### 입력(Inputs)텍스트 프롬프트 (Text prompt): 예제 명령어의 프롬프트 파일(prompts/dmad_sweater.txt)을 통해 제공됩니다. README에는 프롬프트 스키마나 최대 프롬프트 길이에 대한 명시가 없습니다.시드 (Seed): 예제에서는 --seed 42를 사용합니다.기반 모델 디렉토리 (Base model directory): MiniMax-H3 가중치로, 별도로 다운로드해야 합니다.LoRA 체크포인트 (LoRA checkpoint): 출시된 .safetensors 어댑터 중 하나입니다.샘플링 구성 (Sampling configuration): 문서화된 설정은 4단계, 비디오 시간 이동 12, 오디오 시간 이동 2, 클래시파이어-프리 가이던스 없음, 그리고 24 fps로 124 프레임을 사용합니다.### 출력(Outputs)비디오 (Video): 1344×768, 24 fps로 124 프레임입니다.

오디오(Audio): 비디오와 함께 공동으로 생성된 네이티브 스테레오 오디오입니다.

출력 경로(Output destination): --output-dir로 설정합니다.

; 예시는 outputs/dmad_sweater에 작성됩니다.

.

후처리(Post-processing): 필요한 후처리 단계는 지정되어 있지 않습니다.

시작하기 (Getting started)

해당 저장소의 예시는 독립적인 Diffusers 호출 대신 프로젝트 추론 스크립트를 사용합니다. 코드를 클론하고 기본 모델과 어댑터를 다운로드한 다음, 추론을 실행하세요:

git clone https://github.com/Yzmblog/DMAD.git
cd DMAD
hf download MiniMaxAI/MiniMax-H3 \
...

환경 설정은 코드 저장소의 README를 참조하십시오. 제공된 정보에는 패키지 버전이나 최소 GPU 구성이 명시되어 있지 않습니다.

자주 묻는 질문 (Frequently asked questions)

질문: DMAD를 상업적으로 사용할 수 있나요?

답변: 체크포인트는 MiniMax H3의 모델 파생물이며 MiniMax H3 커뮤니티 라이선스 계약(MiniMax H3 Community License Agreement)에 따라 배포됩니다. 제공된 정보만으로는 무제한 상업적 권리가 확립되지 않았으므로, 상업적으로 사용하기 전에 해당 계약을 검토하십시오.

질문: DMAD를 실행하는 데 어떤 GPU 또는 VRAM이 필요한가요?

답변: README에는 GPU 모델이나 VRAM 요구 사항이 명시되어 있지 않습니다. 1.4 GB 수치는 전체 MiniMax-H3 모델이나 총 추론 메모리가 아닌 각 LoRA 체크포인트에 적용됩니다.

질문: DMAD는 몇 단계를 사용하며, 생성 시간은 얼마나 걸리나요?

답변: 문서화된 샘플러는 4단계를 사용하며, 이는 50단계의 MiniMax-H3 교사 모델(teacher)과 비교됩니다. DMAD에 대한 벽시계 추론 시간은 제공되지 않았습니다.

질문: 추론 스크립트는 어떤 입력 형식을 예상하나요?

답변: 예시는 --prompt-file을 사용하여 프롬프트 파일을 통해 텍스트 프롬프트를 전달합니다. README에는 파일의 스키마나 최대 프롬프트 길이가 명시되어 있지 않습니다.

질문: DMAD는 비디오 외에 오디오도 생성하나요?

답변: 예. 이는 MiniMax-H3의 공동 텍스트-음성-비디오 모델(joint text-to-audio-video model)의 학생이며, 네이티브 스테레오 오디오가 포함된 비디오를 생성하는 것으로 설명됩니다. 문서화된 출력은 24 fps의 124 프레임입니다.

질문: 어떤 체크포인트를 사용해야 하나요?

답변: dmad_minimax_h3_4step_lora_critic.safetensors

파일은 논문 체크포인트입니다: 800회 반복 시점의 학생(student)에 대한 EMA 값입니다. dmad_minimax_h3_4step_full_critic.safetensors 파일은 라이브 가중치와 완전히 훈련된 크리틱 백본을 가진 1600회 반복 시점의 결과물이며, README에 따르면 AVGen-Bench에서 더 높은 점수를 기록합니다.

질문: 공개된 가중치를 파인튜닝하거나 적응시킬 수 있나요?

답변: 이 공개 버전은 Diffusers 키 레이아웃의 rank-128 LoRA 어댑터로 구성되어 있어, 가중치는 어댑터 기반입니다. 제공된 README에는 파인튜닝 명령어, 훈련 데이터 또는 지원되는 파인튜닝 레시피가 나와 있지 않습니다.

질문: 어떤 품질 실패 사례나 안전 문제가 문서화되어 있나요?