MiniMax H3와 VDN 최적화 결과: VELA 1.0 출시

저는 MiniMax H3/VDN의 성능 개선 작업에 상당히 오랜 시간을 투자해 왔으며, 마침내 그 결과를 VELA H3 1.0으로 출시하게 되었습니다. 기술적인 언어 없이 이것이 무엇을 하는지 설명하려고 노력하겠습니다. VELA는 H3를 '더 똑똑하게' 만드는 것이 아니며 또 다른 모델도 아닙니다. 대신 H3 내부의 무거운 계산 중 일부가 실행되는 방식을 변경합니다. 테스트하는 과정에서 단순히 모든 것을 더 빠른 어텐션(attention)/커널(kernel)로 대체하는 것은 좋지 않은 아이디어라는 것을 알게 되었습니다. H3의 일부 부분은 작은 수치 변화에도 매우 민감한 반면, 다른 부분들은 최종 비디오 결과에 눈에 띄는 변화 없이 훨씬 빠르게 실행될 수 있습니다. 그래서 VELA는 기본적으로 다음과 같은 작업을 수행합니다: 안전하다고 판단되는 곳에서는 더 빠른 경로를 사용하고 → 중요한 곳에서는 정확한(원래의) 경로를 유지하는 것입니다. 이것이 간단한 버전입니다. :) 여기에 도달하기 전에 어텐션 백엔드, 다양한 트랜스포머 블록, 타임스텝 민감도, 양자화(quantization), 낮은 계수 근사치(low-rank approximations), 다양한 QKV 경로 등 수많은 다른 접근 방식을 테스트했습니다. 고립된 상태에서는 더 빨라 보이는 많은 것들이 전체 생성 속도를 늦추거나 결과를 너무 많이 변경시켰습니다. 최종 버전은 의도적으로 훨씬 보수적입니다. 예를 들어, 이전 VDN 1.1 설정과 비교해 보면: 0.8 MP / 5초 VDN 1.1: 2:53 vs VDN + VELA 1.0: 2:13 입니다. 속도 향상은 모든 비디오 길이에서 동일하지 않습니다. 더 긴 지속 시간에서는 훨씬 작아지며, 10초의 경우 제 테스트는 실제로 약간 느렸습니다. 숨기기보다는 그 결과들을 공개했습니다. 하지만 일반 사용자에게는 또 다른 비교가 더 흥미롭다고 생각합니다. Raw MiniMax H3 — 20 스텝 대 VDN + VELA — 8 스텝을 비교하는 두 개의 비디오를 첨부합니다. 애니메이션 예시: 8:07 → 3:03, 사실적인 예시: 7:50 → 2:52. 분명히 이것이 VELA 단독으로 2.7배의 속도 향상을 준다는 주장은 아닙니다 — 스텝 수 또한 다릅니다. 이 비디오들의 요점은 사람들이 품질 차이를 스스로 판단하게 하는 것뿐입니다. 왜냐하면 8스텝 H3 생성이 원본 20스텝 생성에 이렇게 가깝게 유지될 수 있다는 것에 많은 사람이 회의적이라는 것을 알기 때문입니다. VELA 1.0은 또한 완전히 패치(patch)가 없습니다.

이것은 ComfyUI의 MiniMax 핵심 파일을 수정하지 않기 때문에, 일반적인 커스텀 노드 설치만 하면 됩니다. RTX 3090 Ti 24 GB에서 개발 및 테스트되었습니다. 코드, 벤치마크, 실패한 실험 결과, 그리고 연구에 대한 훨씬 더 상세한 설명은 모두 다음 저장소에서 확인할 수 있습니다: https://github.com/Speach1sdef178/ComfyUI-VELA-H3 또한 Comfy Registry에도 게시되었습니다. 아래에 애니메이션 및 사실적인 비교 이미지를 첨부합니다. 저는 실제로 벤치마크 숫자보다는 사람들이 비디오에서 보는 것에 더 관심이 있습니다. :) /u/NoMouse9610 제출 [링크] [댓글]