StreamRender-H3 - 실시간 스트리밍 확산 렌더링으로 구현하는 코드 기반 인터랙티브 세계

코드 기반 게임 엔진이 세계의 상태와 규칙을 관리하고, 비디오 모델이 엔진의 시맨틱 맵을 사실적인 영상으로 바꾸는 구조임
시맨틱 맵은 장면 구조와 움직임을 전달하고, 참조 이미지와 프롬프트는 외관을 결정함. 같은 플레이 흐름도 엔진을 바꾸지 않고 다른 모습으로 렌더링할 수 있음

• MiniMax-H3 Ref2VA를 스트리밍 생성에 맞게 학습하고
  2단계 노이즈 제거로 증류함. 초기 장면과 최근 출력을 문맥으로 유지해 청크 사이의 일관성을 확보함
  GB200 GPU 8개에서 스트리밍 단계당 확산 렌더링 시간을 799.7ms에서 218ms로 줄여 3.67배 가속함. 이는 전체 입력-화면 지연 시간과는 구분해야 함
• 학습과 검증은 모두
  동일한 레이싱 게임 시나리오에 한정됨. 현재 전체 MiniMax-H3 DiT를 GPU 8개에서 실행하며, 다른 게임으로의 확장과 모델 경량화, 화질 개선이 후속 과제임

세계의 규칙과 영상 생성을 분리하는 구조

세계 로직에는 조회 가능한 도로 위치, 실행 가능한 충돌 규칙, 같은 장소로 돌아갔을 때 유지되는 지도처럼 명시적이고 제어 가능한 상태가 필요함

• 코드는 이 정보를 직접 유지하므로 규칙 수정, 동작 디버깅, 상호작용 재현이 가능함
• 비디오 모델은 같은 장면 구조와 움직임에 재질, 조명, 스타일 등 서로 다른 외관을 적용함

StreamRender-H3는 코드 기반 게임 엔진과 스트리밍 확산 렌더러를 중간 상태 표현으로 연결함

• 엔진이 상태와 플레이어 입력을 처리하고, 비디오 모델이 최종 화면을 생성함

• 최종 렌더링에 전통적인 3D 파이프라인을 사용하지 않으면서 세계에 대한 제어를 유지하는 구조임

• NVIDIA DLSS 5가 렌더링된 프레임의 색상과 모션 벡터에 사실적인 조명과 재질을 더한다면, StreamRender-H3는
  시맨틱 맵만으로 전체 외관을 생성함

• 참조 이미지와 프롬프트를 교체하면 같은 상태 스트림을 황혼이나 눈 덮인 장면 등으로 바꿀 수 있음

코드 엔진과 시맨틱 인터페이스

• 데모의 엔진은
  three.js 기반 브라우저 레이싱 게임이며, 세 종류의 정보를 관리함
  지도: 장면의 기하 구조와 배치, 객체와 클래스, 트랙 경계와 방호벽, 주변 풍경을 코드로 유지함

• 물리와 규칙: 고정 시간 간격으로 이동, 충돌, 비플레이어 캐릭터 동작을 갱신하므로 같은 입력은 같은 궤적을 만듦. 스크립트 에이전트로 재현 가능한 세션도 기록할 수 있음

• 상호작용 피드백: 입력을 적용한 뒤 객체 위치와 카메라 방향을 갱신하고, 현재 장면의 구조를 그려 렌더러에 전달함

• 중간 표현은
  엔진이 결정한 구조는 전달하되 외관은 배제해야 함

• 깊이 맵, 에지 맵, 저충실도 게임 렌더링도 일정 부분 이 조건을 충족하지만, 현재는 클래스별 단색으로 픽셀을 칠하는 시맨틱 맵을 사용함

• 조명, 텍스처, 음영 없이 장면 배치, 객체 윤곽과 위치, 움직임, 카메라 경로를 전달함

• 클래스별 단색 장면을 그릴 수 있는 엔진이면 연결할 수 있으며, 맵 생성 비용도 낮음

• 레이싱 데모는
  13개 클래스를 사용하며, 학습과 배포에서 클래스와 색상을 고정함

• 도로, 도로 가장자리, 지형, 잔디, 식생, 바위, 방호벽, 건물, 관람석, 광고판, 하늘, 플레이어 차량, 경쟁 차량을 구분함

• 기반 모델
  MiniMax-H3 Ref2VA는 프롬프트, 참조 이미지와 참조 비디오로 영상과 오디오를 생성함

• 시맨틱 스트림을 참조 비디오로 입력하고, 각 잠재 프레임을 같은 시점의 출력 잠재 프레임과 정렬해 생성 장면의 구조를 제어함

실시간 상호작용과 외관 제어

• 세션 시작 시 엔진의 첫 화면을 이미지 생성 모델로 다시 그려
  사실적인 참조 이미지를 만들고, 참조 이미지와 프롬프트를 한 번 인코딩해 세션 동안 유지함
• 참조 이미지는 구도, 카메라, 객체 위치를 유지하면서 재질, 색상, 차량 도색, 날씨, 조명과 스타일을 정함
• 첫 시맨틱 프레임과 정렬되어 있어 각 외관이 어느 객체 클래스에 해당하는지 연결할 수 있음
• 프롬프트만으로는 특정 재질이나 색상 조합, 조명을 충분히 고정하기 어려워 이미지를 함께 사용함

구조화된 프롬프트는 각 입력의 역할을 명시함

• 플레이어 차량, 경쟁 차량, 트랙과 주변 환경을 주체로 정의함

• 외관은 참조 이미지에서, 윤곽과 위치, 움직임, 카메라 경로는 시맨틱 비디오에서 가져오도록 지정함

• 클래스별 색상 의미와 렌더링 스타일, 조명, 소리도 기술함

• 실행 중에는
  입력부터 화면 피드백까지 다섯 단계를 반복함

• 플레이어가 키보드나 컨트롤러로 조향, 가속, 제동을 입력함

• 엔진이 다음 물리 갱신 단계에 입력을 적용함

• 비디오 프레임마다 시맨틱 프레임을 생성해 스트리밍함

• 렌더러가 청크 단위로 프레임을 모아 외관 조건과 최근 출력에 따라 두 번의 노이즈 제거를 수행하고 RGB 프레임으로 디코딩함

• 결과를 표시하고 플레이어가 다음 입력으로 반응함

• 이전 청크의 재생이 끝나기 전에 다음 청크가 준비되면
  실시간 재생을 유지함

• 입력의 효과는 해당 효과가 포함된 청크가 생성되는 대로 화면에 나타남

• 엔진과 렌더러는 시맨틱 스트림과 세션 외관 조건만 공유하므로 독립적으로 교체할 수 있음

• 1080p, 71초 소리 포함 데모와 20개 장면의 1분 병렬 쇼케이스가 공개되어 있음

• 쇼케이스는 동일 모델이 서로 다른 트랙, 외관, 차량 도색을 렌더링하며 소리는 없음

• 실행 중 렌더러는 엔진의 일반 렌더링 화면을 보지 않고 시맨틱 스트림, 프롬프트, 시작 시 만든 참조 이미지만 받음

• 엔진 화면과 생성 화면의 비교에는
  단독 주행과 경쟁 차량 주행이 있음

• Spring 트랙 단독 주행은 도로 굴곡과 추적 카메라 움직임을 따르면서 참조 이미지의 외관을 유지함

• Brondehach 경쟁 주행은 경쟁 차량 5대가 등장함. 시맨틱 맵은 모든 경쟁 차량을 같은 색으로 표시하므로, 개별 도색은 참조 이미지와 프롬프트, 최근 출력으로 유지해야 함

레이싱 학습 데이터 구축

• 사전 학습에는
  약 15초 길이의 짝지어진 클립 10,000개를 사용함
• 도로 서킷, 비포장 트랙, 오벌을 포함한 39개 트랙의 약 5,100회 레이스에서 추출함
• 모든 차량은 AI 드라이버가 운전하며, 경쟁 차량은 0~15대이고 카메라는 플레이어 차량 뒤를 따라감
• 일반 렌더링과 시맨틱 비디오를 1344×768, 초당 24프레임으로 기록함

GPT-Image-2.5가 첫 일반 렌더링 프레임을 현대적인 사실적 레이싱 게임 화면으로 다시 그림

• 카메라, 도로 경로, 모든 차량의 위치와 크기, 경쟁 차량 색상, 플레이어 차량의 도색 색상과 번호를 유지함
• 관중 같은 세부 요소는 해당 종류의 객체가 이미 있는 영역에만 추가하고, 차량은 추가하지 않음
• 맑은 정오, 이른 아침, 골든아워, 일몰, 블루아워, 흐린 하늘, 부분적으로 낀 구름, 여름 연무, 아침 안개, 햇빛이 비치는 폭풍 구름의 10가지 조명을 각각 1,000개 클립에 적용함

Claude Opus 5.5 에이전트가 일반 렌더링과 시맨틱 비디오를 보고 참조 이미지 생성과 구간별 프롬프트 작성을 준비함

• 주체, 스타일, 소리 외에도 코너 진입이나 추월 같은 사건을 타임스탬프와 함께 순서대로 기술함

• 정답 영상은 기본
  MiniMax-H3 Ref2VA의 25단계 노이즈 제거로 생성함

• 15초를 한 번에 생성할 수 있지만, 약 5초 이후 시맨틱 비디오와 참조 이미지에 대한 충실도가 떨어졌음

• 따라서 약 5초씩 세 구간으로 나누고, 이전 구간의 마지막 프레임을 다음 구간의 시작점으로 사용함

• 정답 영상이 필요 없는
  DMD 학습에는 같은 레이스에서 얻은 60초 주행 5,000개와 각각의 시맨틱 비디오, 참조 이미지, 프롬프트를 사용함

• 렌더러 개발에서는 SoL-Pi를 주요 코딩 에이전트로 활용해 데이터 준비, 학습, 평가를 수행함

스트리밍 문맥, 오차 적응과 가이던스 학습

• LynnReal-Omni의 스트리밍 설계에 따라 각 청크를
  싱크(sink)와 최근 이력이 포함된 윈도에서 생성함

• 싱크는 세션 내내 유지되는 시작 부분으로 장면과 객체 정체성을 고정하며, StreamingLLM의 어텐션 싱크와 LongLive의 프레임 싱크와 같은 취지임

• 최근 이력은 직전 출력으로 청크 경계의 움직임을 이어줌

• 윈도 내부는 양방향 어텐션을 사용하고, 첫 윈도 이후에는 같은 위치 템플릿을 재사용함

• 배포 모델은
  청크당 스케줄링 단위 2개를 생성하며, 단위당 잠재 프레임은 1~2개임

• 싱크 2단위와 최근 이력 2단위를 유지하고, 첫 윈도는 이후 문맥을 채우기 위해 7단위를 한꺼번에 생성함

• 사전 학습에서는 싱크 4단위와 최근 이력 5단위의 더 넓은 윈도를 사용함

접두부 캐시는 고정된 텍스트와 이미지 조건, 참조 이미지, 싱크의 키와 값을 노이즈 제거 단계별로 한 번 계산해 재사용함

• 고정 접두부는 자기 자신만 참조하고, 움직이는 부분은 전체 윈도를 참조함

• 추론에서는 최근 이력과 현재 청크만 다시 계산함

• DMD 학습도 같은 어텐션 마스크를 사용하되 현재 가중치로 접두부를 다시 계산하며, 사전 학습은 윈도 내 조밀한 어텐션을 사용함

• 학습은
  교사 강요(teacher forcing), Resampling Forcing, DMD 순으로 진행함

• 교사 강요는 클립에서 윈도 하나를 뽑고 정답 이력을 사용함

• 나머지 두 단계는 연속 윈도를 처리하고 결과를 다음 학습 단계의 이력으로 기록함

• Resampling Forcing은
  정답 이력과 실제 자기 출력 사이의 차이를 줄임

• 원래 방식의 전체 인과적 학습 구조가 아니라 이력 재샘플링 연산만 차용함

• 스트림별로 이동된 로짓 정규분포에서 노이즈 수준을 뽑고, 정답 청크에 노이즈를 더한 뒤 생성기가 그래디언트 없이 재샘플링함

• 이 결과를 다음 이력으로 사용하고 현재 청크는 정답에 맞춰 학습해, 자기 오류가 포함된 문맥에서도 이어서 생성하도록 함

가이던스도 생성기 내부에 학습해 노이즈 제거 단계당 순전파 한 번만 수행함

• 기존 체크포인트는 가이던스가 증류되어 있지만, 캡션과 시맨틱 비디오 양쪽에 별도 분류기 없는 가이던스(classifier-free guidance)를 적용하면 단계당 순전파가 세 번 필요함
• 참조 이미지는 모든 분기에 유지하고, 캡션과 시맨틱 비디오가 모두 없는 ∅, 캡션을 추가한 T, 시맨틱 비디오까지 추가한 TS의 세 분기를 사용함
• 캡션 가이던스 배율은 1.5, 구조 가이던스 배율은 3.0임
• 각 단계의 시작점을 그래디언트 중단으로 고정하고 가이던스 변환을 역으로 풀어 일반 확산 손실로 학습함. 수렴하면 TS 분기 한 번의 출력이 가이던스를 적용한 예측에 해당함
• 구조에 더 강한 가이던스를 적용해 배치, 객체, 카메라를 엔진 상태에 맞추며, Resampling Forcing과 같은 사전 학습 실행에서 함께 학습함

2단계 증류와 시간 구간별 평가

• 사전 학습 모델의
  16단계 생성은 실시간 플레이에 느려, DMD와 DMD2로 청크당 두 단계까지 줄임
• 순수 노이즈에서 중간 노이즈 수준으로, 다시 깨끗한 청크로 이동함
• 정답 없이 자기 출력을 이어가며 학습하고, 각 학습 스트림은 60초 주행의 처음 30초를 사용함

고정된 실제 분포 평가기와 학습 가능한 생성 분포 평가기의 점수 차이로 생성기를 갱신함

• 생성 청크에 다시 노이즈를 더한 뒤 두 평가기의 점수 차이로 목표 분포를 향하는 방향을 구함

• Self Forcing처럼 자기 생성 궤적에서 학습하고, 손실과 그래디언트는 현재 청크에만 적용함

• 이전 학습 단계의 생성 결과를 다음 단계로 이어가는 점은 LongLive의 스트리밍 장기 튜닝과 같지만, 몇 초가 아니라 청크 하나씩 전진함

• 두 평가기는
  기본 양방향 MiniMax-H3 Ref2VA이며, 현재 청크에서 끝나는 최대 29개 잠재 프레임, 약 4초 구간을 평가함

• 구간 시작 프레임을 참조 이미지로, 같은 구간의 시맨틱 비디오를 참조 비디오로 사용함

• 실제 분포 평가기는 공개 모델을 어댑터 없이 고정하고, 생성 분포 평가기는 같은 가중치에 새 LoRA를 붙여 학습함

• 생성 분포 평가기는 가이던스 배율 3.0과 4.0으로 학습하며 일반 조건부 예측
  u(TS)

로 점수를 계산함

• 평가기는 전체 구간에서 학습하지만 생성기는 현재 청크를 통해서만 갱신됨

• 평가 구간의 프롬프트에는
  타임스탬프가 있는 행동 정보가 필요함

• 일반적인 주행 설명만 주면 참조 이미지가 시간축 어디에 속하는지 파악하지 못하고, 시맨틱 비디오를 역방향으로 렌더링하는 경우도 있었음

• 플레이어 차량의 외관을 프롬프트에 기술하면 색상 유지에도 도움이 됨

GPT-6.1 Sol 에이전트가 각 60초 주행의 타임라인을 한 번 작성함

• 시맨틱 비디오, 0.25초 간격의 속도와 가속도, 요 회전율, 차량별 위치와 크기 표, 다시 그린 첫 프레임, 기존 일반 프롬프트를 입력받음
• 전체 주행에 공통인 외관, 210초 길이의 주행 단계, 0.32.5초 길이의 사건과 절대 타임스탬프, 0.5초 간격의 장면 상태를 작성함
• 평가할 구간에 맞춰 사건을 잘라 상대 시간으로 옮기고, 외관과 겹치는 주행 단계, 시작과 끝 상태를 합쳐 프롬프트를 구성함
• 생성기는 세션 전체에서 같은 프롬프트를 유지하므로 접두부 캐시를 계속 사용할 수 있음

에이전트의 반복 개선으로 개발한 Fast Causal H3 VAE

• 기존
  H3 VAE 디코더는 36층, 24.2억 매개변수의 오프라인 영상용 Transformer임
• 720p 프레임을 최소 64픽셀씩 겹치는 256픽셀 타일 28개로 나눠 각 픽셀을 약 두 번 계산함
• 잠재 프레임 5개를 디코딩할 때 미래 프레임 2개도 필요해 각 잠재 프레임을 1.4번 계산하며, 블록당 약 870ms가 걸림
• 경량 TAE는 약 10ms이지만 스트리밍 실험에서 전체 VAE 대비 27dB PSNR, 미세 디테일 80%에 그쳤고 잔디, 식생, 도로 질감이 깜박였음

Claude Code에 엄격한 인과성, 호출당 잠재 프레임 2개, 720p에서 50ms 이내, 공개 H3 VAE 가중치에서 출발한다는 조건을 주고 개선을 반복함

• 변경마다 참조 디코더와의 비교, 미래 잠재값 교란을 통한 인과성 검사, 지연 시간, PSNR, LPIPS, 미세 디테일을 측정해 유지하거나 되돌림

• 약 3시간 후 인과적 디코더가 스트리밍 파이프라인에서 실행되었고, 이후 수렴할 때까지 증류함

• 첫 단계에서는
  재학습 없는 탐욕적 층 제거를 수행함

• 제거 시 재구성 PSNR 손실이 가장 작은 층을 순차적으로 없애 24층, 16.2억 매개변수로 줄임

• 다음으로
  시간과 공간의 중복 계산을 없앰

• 현재 잠재 프레임 2개와 이전 4개의 층별 KV 캐시만 참조하고 미래 프레임은 보지 않음

• 일반적으로 두 잠재 프레임에서 영상 8프레임을 만들지만, 기본 5개 블록의 첫 잠재 프레임은 원본처럼 1프레임만 생성해 전체 5개당 17프레임 관계를 유지함

• 공간 타일 대신 겹치지 않는 16×16 토큰 윈도를 사용하고, 한 층 걸러 반 윈도씩 이동해 이웃 정보를 교환함

• 학습 전 비인과적 참조 모드에서 원본과 비교한 오차는 2×10⁻⁵ 이내였음

• 단순 PyTorch 구현은
  720p 잠재 프레임 2개당 146ms였으며, 행렬 곱셈은 약 15ms에 불과했음

• 가중치를 매 호출 fp32에서 변환하지 않고 bf16으로 저장하되 잔차 스트림은 fp32로 유지함

• 윈도별 사전 할당 링 버퍼에 KV 캐시를 보관하고, 위치 인코딩과 캐시 쓰기를 한 번만 수행함

• 윈도 분할과 결합을 인덱스 수집으로 바꾸고
  torch.compile

로 정규화와 회전 위치 임베딩을 융합함

• 블록 마스크 기반 FlexAttention 대신
  FlashAttention-4 가변 길이 인터페이스를 사용함. 패딩을 제외하고 seqused_k

로 빈 캐시 슬롯을 숨겨 마스크를 제거함

• 고정된 청크 형태를 CUDA 그래프로 캡처해 커널 실행 오버헤드를 줄이고 32ms까지 단축함

평균 지표가 놓친 밝기 오류는 실제 스트림을 확인하면서 발견함

• 전역 정보를 읽는 레지스터 토큰 4개와 클래스 토큰 1개에 시간 위치가 없어, 절대 시간 위치를 쓰는 프레임 토큰과의 어텐션이 스트림 진행 시간에 영향을 받았음
• 학습 길이를 넘는 11번째 잠재 프레임부터 5개 블록의 첫 영상 프레임이 약 20단계 어두워졌음
• 전역 토큰에 해당 청크의 시간 위치를 부여하자 차이가 2단계 미만으로 줄었으며, 스트림 시계를 0, 100, 1000에서 시작해도 출력이 같아짐
• 이후 블록 시작 프레임의 밝기와 시작 시계 변경 검사를 추가함

전체 H3 VAE 출력을 교사로 증류하되, 학생은 배포와 같은 청크별 코드를 사용함

• 51프레임, 384×384 크롭으로 빈 캐시와 채워진 캐시에서의 블록 시작을 모두 학습함

• L1, LPIPS, 프레임 차이, 에지 손실을 결합하고 잠재 프레임 경계에서는 프레임 차이 손실을 강화함

• GPU 8개와 AdamW로 학습해 6,000단계에서 종료함. 마지막 500단계의 PSNR 개선은 0.06dB에 그쳤음

• 미래 잠재 프레임을 변경해도 이전 출력은 비트 단위로 동일했음

• Kernel Design Agents에
  32ms 버전의 커널 최적화를 맡겨 단일 GB200 노드에서 Claude Code와 Opus 5.5로 2.5시간 반복함

• 전역 토큰과 일반 토큰의 선형 연산을 통합하고, qk-norm, RoPE, KV 캐시 쓰기를 Triton 커널로 융합함

• 전역 토큰 어텐션을 split-K Triton으로 바꾸고, 잔차 합산과 RMSNorm, SwiGLU 및 상향 투영 GEMM을 융합함

• fp32 출력 헤드는 hi/lo 분할 기반 bf16 텐서 코어 GEMM으로 계산하고, 스트림 상태를 GPU로 옮겨 하나의 CUDA 그래프를 재사용함

• 최종 지연 시간은
  단일 GB200에서 720p 잠재 프레임 2개당 23.8ms이며, 이 중 행렬 곱셈이 약 14ms를 차지함

• 최적화 버전은 단순 PyTorch 구현 대비
  64~71dB PSNR로 일치하며, 차이는 bf16 반올림에서 발생함

• 파이프라인의 영상 디코더만 교체하고 참조 프레임용 TAE 인코더와 2단계 DiT는 유지함

• 인터페이스는 잠재 프레임을 하나씩 받아 두 개가 모이면 디코딩함

• KDA 적용 전 버전도 768×1344의 GPU 8개 루프에서 36.837.3ms에 디코딩했으며, 같은 회차 DiT의 264329ms보다 짧았음

추론 가속 결과와 적용 범위

• 전체 추론은 에이전트 중심 영상 생성 가속 프레임워크 Sol-Engine과 그 논문에 기반함
  GPU 8개에 전체 모델 가중치를 각각 상주시킨 문맥 병렬화로 지연 시간을 낮춤
• Ulysses 방식으로 토큰 시퀀스를 나눠 순방향 신경망 계층은 로컬에서 처리함
• 어텐션에서는 전체 간 교환(all-to-all)으로 헤드별 데이터를 재구성해 각 GPU가 담당 헤드의 전체 시퀀스를 처리한 뒤 원래 배치로 되돌림
• 추론 중 가중치를 모으거나 교환하지 않음

고정 문맥 KV 캐시가 가장 큰 단일 개선 효과를 냄

• 텍스트와 이미지 조건, 참조 이미지, 싱크는 캐시하고 현재 프레임과 최근 프레임만 다시 계산함
• 노이즈 제거 시점마다 별도 캐시를 유지하며 요청이 자신의 캐시 뱅크를 직접 읽음
• 확산 렌더링 시간이 약 799.7ms에서 315.4ms로 줄어듦

AdaLN 투영 캐시와 어텐션 최적화를 이어 적용함

• 반복되는 조건 입력의 shift, scale, gate 투영값을 캐시하되 토큰별 은닉 활성값은 캐시하지 않음

• Blackwell용 FlashAttention-4를 실제 스트리밍 형태에 맞춰 조정하고, GPU별 작업량이 작아 KV 분할 수를 1로 설정함

• 같은 시퀀스 구조의 층끼리 길이와 오프셋 등의 메타데이터를 재사용해 반복 설정과 호스트-디바이스 동기화를 없앰

• 층별 영구 KV 버퍼를 어텐션 커널이 읽는 배치로 유지하고 동적 영역만 제자리 갱신해 메모리 할당과 이력 재배치를 줄임

• 최종
  확산 렌더링 시간은 218ms, PyTorch 기준 3.67배 가속임

• GB200 GPU 8개에서 두 번의 함수 평가를 사용하는 DiT 측정이며, 비교 전 단계에서 최적화된 스트리밍 인코더와 디코더는 고정함

• 워밍업 후 단계별 시간은 GPU 간 통신을 포함하며, 단계별 중앙값을 독립적으로 보고함. 전체 입력-화면 지연 시간과는 구분해야 함

• 측정 상세 데이터를 제공함

• 현재 결과는
  차량 뒤쪽 3인칭 카메라의 레이싱 시나리오에 한정됨

• 렌더러, 2단계 학생 모델, 평가기 모두 레이싱 데이터로만 학습했고 시험 주행도 같은 게임에서 수행함

• 인터페이스 자체는 다른 엔진에도 적용할 수 있지만, 여러 게임과 장면으로 확장하고 각각 필요한 신규 데이터량을 측정하는 작업은 남아 있음

• 전체 MiniMax-H3 DiT를 GPU 8개에서 사용하는 현재 구조에서 매개변수 수와 단계별 비용을 줄이고 영상 품질을 높이는 연구를 진행 중임

댓글과 토론