H3 Relay Hires 노드 소개: 0.5MP에서 2MP 애니메이션 업스케일러, 네이티브 대비 약 4배 빠르며 전체 20단계 Pass 1

Repo: https://github.com/tazmannner/ComfyUI-H3-RelayHires (MIT, 8 example workflows) 또한 제가 오픈 소스로 진행하는 더 많은 애니메이션 관련 작업의 진행 상황을 twitter에 많이 올리기 시작했습니다: https://x.com/tazmannner 이 튜토리얼 비디오와 글은 claude와 함께 만들었습니다. 아직 작업 중이며 건설적인 피드백이라면 무엇이든 감사하게 생각합니다. 저는 매번 1920 H3 클립을 기다리는 것이 너무 지겨워져서, 이를 위한 고해상도(hires) 방법을 만들었습니다: 네이티브 렌더링보다 약 4배 빠른 2 MP 클립입니다. 이 방법은 전체 렌더를 낮은 단계의 LoRA로 실행하는 것에 의존하지 않는데, 제 경험상 이는 움직임이나 시각적 요소 또는 색상이 떨어지는 등의 트레이드오프를 가져옵니다. 미리보기처럼 0.5 MP에서 테이크를 렌더링합니다. 마음에 들면, 동일한 테이크가 1920x1088로 완성되며 오디오는 들었던 것과 정확히 일치합니다.

5090 기준으로, 1920x1088의 5초 클립을 처음부터 끝까지 비교하면 다음과 같습니다:

작동 방식. 모든 것이 하나의 노드입니다: Pass 1 at 0.5 MP. 여기서 H3는 레이아웃, 움직임, 연기(acting), 오디오를 결정하며, 시간이 가장 많이 소요되는 부분입니다. 여기서 테이크를 승인합니다. AnimeSR이 1920으로 업스케일링합니다 (~2초). 이것은 제가 처음부터 학습시킨 작은 업스케일러이며, 리포에 포함되어 있습니다. H3는 모든 해상도에서 약 2 px의 잉크 라인을 그리므로, 일반적인 업스케일러들은 두 배로 두꺼워지고 흐물거리는 작은 얼굴을 만듭니다. AnimeSR은 바로 그것을 되돌리도록 학습되었습니다. 한 번의 H3 터보 단계가 1920에서 실행됩니다 (DMAD LoRA, sigma 0.60부터). 이것이 전체 크기에서 디테일을 다시 그립니다. Pass-1 오디오는 고정되므로 사운드트랙은 동일합니다. H3 단계는 디테일만 다시 그리므로, 미리 본 테이크가 아닌 새로운 테이크를 얻지 않습니다. latent upscale + refine는 얼굴과 포즈를 바꿀 수 있지만, 이것은 그렇지 않습니다. 넓은 장면에서 번져 보이는 빠른 프레임이나 작은 얼굴도 깨끗하게 나옵니다. 여전히 선들이 희미하게 반짝입니다: 0.13 (프레임 간) 대 네이티브의 0.10 및 1 MP 경로의 0.22.

솔직한 한계점: 라인 무게: 잉크 라인이 네이티브 1920 렌더보다 약간 더 진합니다.

매우 빠른 액션 처리: 만약 0.5 MP의 원본 테이크 자체가 흐릿해지는 경우(예: 칼 부딪히는 장면), Relay는 선명한 포즈가 아닌 모션 블러를 제공합니다. 예시 워크플로우 2에서는 디-로프 패스(de-rope pass)를 사용하여 해당 프레임들을 먼저 수정합니다. 애니메이션 전용입니다: 이 노드는 2D 애니메이션을 위해 제작되었습니다. 저는 사실적인 콘텐츠는 시도해 보지 않았습니다. 추가 기능: Pass 1 속도가 약 20% 더 빠릅니다. 또한 이 패키지에는 H3 Fast Tail Sampler가 포함되어 있습니다. H3는 전체 20단계 중 처음 12단계에서 테이크를 결정하므로, 이 단계들은 정확히 euler 방식으로 실행되고 마지막 8단계는 4차급(second-order) 단계로 변환됩니다. 동일한 테이크의 경우 Pass 1 시간이 58초에서 47초로 단축됩니다.
만약 설치하고 싶지 않다면, README에 기본 노드를 사용하여 동일하게 연결하는 방법이 나와 있습니다.

사용 방법: 필요한 것:

• ComfyUI 내의 MiniMax H3. (당연하죠)
• H3용 DMAD 4단계 터보 LoRA (Kijai의 Hugging Face에 있는 MiniMax-H3-experimental 리포지토리).
• taeh3 (Kijai의 MiniMax-H3-TAE) 및 이를 로드하는 로더.
• 예시에서는 ComfyUI-H3-FastDerope, VideoHelperSuite, comfyui_essentials에서 제공하는 것을 사용합니다. (필수 조건은 아니지만 권장됨)

단계:

1. git clone https://github.com/tazmannner/ComfyUI-H3-RelayHires를 custom_nodes 폴더에 클론합니다. AnimeSR 모델은 이미 내장되어 있습니다.
2. 예시 워크플로우 1 (1_relay_hires.json)을 엽니다. 이것이 가장 간단하며 FastDerope의 taeh3 로더 외에는 다른 패키지가 필요하지 않습니다.
3. 파란색 SETTINGS 그룹에서 프롬프트를 작성합니다 (모든 곳에 사용되는 하나의 박스). 크기는 0.5 MP로, hires scale은 2.0으로 유지합니다.
4. Queue를 실행합니다. 0.5 MP 미리보기와 최종 1920 해상도 결과물을 얻을 수 있습니다.

선택 사항 (아래 참조): 기존 워크플로우에 이 노드를 쉽게 통합할 수 있습니다. 그리고 마법이 주로 2차 패스에서 일어나기 때문에 FLV2A와 REF 모두에서 작동합니다.
팁: 시드(seed)를 고정해 두세요. 프롬프트와 시드를 테스트하는 동안 Relay Hires 노드와 최종 저장 기능 (Ctrl+M)을 음소거했다가, 미리보기가 마음에 들면 다시 활성화하세요. ComfyUI는 완료된 Pass 1을 재사용하므로, 리레이(relay) 부분에 대해서만 비용이 발생합니다.

자신만의 워크플로우에 추가하기: Pass 1 이후에 H3 Relay Hires 노드를 배치하고 연결합니다:

• model: pass-1 모델 (동일한 LoRA 및 shift) + DMAD LoRA를 0.8로 설정.
• positive: pass-1의 컨디셔닝.

잠재 공간(latent): pass-1 샘플러의 출력물입니다. 오디오는 여기서 나옵니다. images: 디코딩된 pass-1 프레임입니다. vae: taeh3.

다른 예시 워크플로우들은 각각 relay 이전에 하나의 단계를 추가합니다:
2: fast-motion smear(빠른 움직임 번짐)를 위한 de-rope (144초).
3: 작은 얼굴을 위한 + FaceDetail (224초).
4: 2초/3초 홀드(hold)를 위한 + Anime Cadence (228초).
5~8: Fast Tail Sampler를 사용한 동일한 네 가지 단계입니다. 이들은 README에 연결된 제가 가진 다른 패키지들이 필요합니다 (3-4는 또한 ResCascade의 두 개의 작은 헬퍼 노드를 사용하여 얼굴과 홀드를 1920 프레임에 배치합니다). 만약 관심이 있다면, 나중에 이에 대한 게시물을 올릴 수도 있습니다. 이들은 모두 상황에 따라 사용처가 다릅니다.

또한 저는 다음 용도로도 이를 사용했습니다:
캐릭터 스왑 / ref2va: 변경 없이 작동합니다. 1920 해상도의 12샷, 22초짜리 캐릭터 스왑 리캐스트는 0.5MP에서 실행한 것보다 단지 약 3분만 더 걸렸습니다.
15초 클립 및 다중 장면 체인: 부분별로 relay를 적용했습니다.

보너스: H3용 다른 애니메이션 패키지들은 모두 무료이며, relay와 함께 작동합니다 (예시 워크플로우 2~4에서 사용):
Fast De-rope: H3의 빠른 움직임 번짐과 녹는 현상을 수정합니다. 모션 게이트(motion gate)가 빠른 순간을 찾아 오직 그 부분만 다시 그리고, 이를 렌더에 다시 짜깁기합니다. 단일한 빠른 발차기가 있는 10초 클립의 경우, 이 수정 작업은 +202초 대신 +12초 비용이 들었습니다. de-rope 자체는 matlowai의 MAINodes이며, 이 패키지는 그것을 더 저렴하고 깨끗하게 만들었으므로 그의 훌륭한 작업에 경의를 표합니다.
Anime Cadence: H3가 손으로 그린 애니메이션처럼 움직이게 만듭니다. H3가 매 프레임마다 새로운 그림으로 전환되는 2초/3초 구간에 그림을 배치하고, 각 홀드된 그림에서 가장 선명한 프레임을 유지합니다. 캐릭터 전용 모드는 배경과 카메라가 부드럽게 계속 움직이는 동안 캐릭터를 고정합니다.

여기에 있는 모든 것은 96GB RAM을 탑재한 5090으로 구동되었습니다. 저는 더 작은 카드에서는 테스트하지 못했으므로, 사용자님의 장비에서 어떻게 작동하는지 듣고 싶습니다. 이 작업은 많은 도움(Claude Code)을 받아 완성되었으며, Claude가 대부분의 테스트와 측정을 담당했습니다.

제출자: /u/crinklypaper [링크] [댓글]