git clone https://github.com/drowzeys/keys-SM121-Optimized-MiniMax-H3-Nvidia-Sol-Engine-Kijai-SolAttn_Triton-Single-DGX-Spark.git
cd keys-SM121-*
./install.sh              # ComfyUI v0.30.1 + 41 GB 가중치 + 네 가지 가속기 모두
...

curl -X POST http://127.0.0.1:8188/prompt -H 'Content-Type: application/json' \
  -d

H3는 텍스트, 오디오 및 비디오를 **하나의** 시퀀스(1344×768/124f에서 38,247개 행)로 통합하고 모든 요소에 대해 완전한 self-attention을 수행합니다. 제거할 CFG 브랜치도 없고 캐시할 cross-attention도 없습니다. 따라서 attention이 전체 hot path의 약 70%를 차지합니다. 그러므로 개선점은 다음과 같습니다: attention을 희소하게 만들고, 변화가 없는 단계에서는 네트워크를 완전히 건너뛰며, DiT 외부에서 실행 경계(launch-bound) 작업을 수정하는 것입니다.

| 최적화 (Optimization) | 출처 (Origin) | 기능 (What it does) | 측정치 (Measured) |
|---|---|---|---|
| **Sol-Attn** | [NVIDIA Sol-Engine](https://github.com/NVlabs/Sana/tree/sol-engine) 커널, [KingGore](https://github.com/KingGore/ComfyUI_sol-attn_Blackwell) & [kijai](https://github.com/kijai/ComfyUI-SolAttn_triton)에 의해 패키징됨 | 각 query 블록을 가장 높은 점수를 받은 KV 블록으로만 라우팅합니다. | 단계당 1.32× |
| ... | 
**고의적으로 제외된 내용** (단일 GPU 현실 점검): context parallelism / Ulysses (NVIDIA의 3.97×는 503 GB/s NVLink를 사용하는 8×GB200에서 사용됨), fused-QKV collective 및 Triton relayout 커널 (이들은 all-to-all을 공급하기 위해 존재함), 그리고 elementwise DiT fusion — NVIDIA 자체 README에 따르면 여기의 정직한 최대치는 약 3%이며, ComfyUI는 이미 `_mod_gate`/`_mod_scale_shift`를 제자리에서 병합(fuses)합니다.

## 모르면 하루가 걸릴 세 가지 것

**1. `flex_attention`은 `sm_121`에서 조용히 잘못 작동합니다.** torch 2.11.0+cu130으로 컴파일되고 실행되며 아무것도 발생시키지 않지만, SDPA와 비교하여 코사인 유사도 0.92–0.97을 반환합니다. 50개 블록 × 20단계에 걸쳐 이는 눈에 띄는 쓰레기(garbage)로 누적되어 깨진 체크포인트처럼 보입니다. 상위 Sol-Attn 플러그인은 Blackwell에서 이 경로를 선호하며, `patches/`의 패치는 12.1에서 Triton 커널을 강제합니다. **이 아키텍처의 모든 커널은 수치적으로 확인해야 합니다.**

**2. H3의 블록들은 입력값을 제자리(in place)에서 변형시킵니다.** `DiTBlock.forward`는 `x[a:b].addcmul_(...)`로 끝나며 *동일한 텐서 객체*를 반환합니다. 캐싱을 수행하는 모든 `output - input`은 정확히 0이 되어, 모델이 절대 변하지 않는다고 결론 내리고, 모든 것을 건너뛰며, 체커보드 패턴을 방출합니다. 블록 전에 복제(Clone)해야 합니다.

<details>
<summary>실패가 어떻게 보이는지</summary>

캐시는 매 단계마다 `diff_ratio=0.0000 -> skip`을 보고하며 디코딩 결과는 순수한 체커보드 노이즈입니다. 수정 방법은 `nodes/h3_fbc_node.py` 파일 내에서 두 개의 `.clone()` 호출을 추가하는 것입니다.

**3. NVIDIA의 캐시 임계값은 50 단계를 가정합니다.** 20단계에서는 행별 `diff_ratio`가 U자형(10단계에서 0.18 → 0.066 → 0.25)을 보이며, 단순한 임계값 설정으로는 잘못된 위치에 캐싱이 발생합니다. 이 포트는 드리프트(drift)를 제한하기 위해 `start_step`, `end_dense_steps`, 그리고 `max_consecutive_skips`를 추가합니다. 또한: 그들의 전역 평균(global-mean) 지표는 패킹된 텍스트/오디오 접두사 행에 의해 희석되므로, 이 포트는 마지막 60%의 행에 걸쳐 행별 비율을 측정합니다.

또한 두 가지 환경적인 주의사항이 있습니다: **H3와 `--use-sage-attention`을 절대 함께 사용하지 마십시오** (순수 노이즈, [ComfyUI#15263](https://github.com/Comfy-Org/ComfyUI/issues/15263)), 그리고 **바쁜 GB10은 절대로 벤치마킹하지 마십시오** — 백그라운드 CUDA 작업이 열 스로틀링(thermal throttling)과 정확히 같은 방식으로 읽힙니다 (저희의 경우 10.88 → 20.77 s/step).

## NVIDIA 자체 Sol-Engine 코드 실행하기

NVIDIA의 공식 `sol_attn` 패키지는 `sm_121`에서 **실행됩니다** — 그들의 CuTe 테이블은 `sm_120`에서 멈추지만, 모든 Capability ≥ 8.0에 대해서는 번들링된 Triton 구현으로 폴백(fallback)합니다. H3 형태의 호출에서 측정 결과는 3.51 ms 대 kijai의 3.33 ms였으며 정확도는 동일했습니다. 그들의 전체 *런타임*(runtime)은 맞지 않습니다 (bf16이 사용 가능한 121 GB 대비 141 GB 필요). 또한 Spark 패브릭 위에서의 컨텍스트 병렬성(context parallelism) 측정값은, 그들이 가정했던 3.97배의 503 GB/s NVLink에 비해 **5.52 GB/s**로 측정되어 CP=2는 순손실이 됩니다. 수치와 추론 과정은 [`RECIPE.md`](RECIPE.md#appendix-running-nvidias-own-sol-engine-code-measured-not-speculated)를 참조하십시오.

## 저장소 구조 (Repo layout)

## 요구 사항 (Requirements)

DGX Spark / GB10 (`sm_121`), 128 GB 통합 메모리, aarch64, CUDA 13, torch ≥ 2.9
(테스트 버전: 2.11.0+cu130), ComfyUI v0.30.1, 가중치용 여유 디스크 공간 약 45 GB.
`install.sh`는 컴퓨트 능력을 확인하고 다른 환경에서는 실행을 거부합니다. 여기에 포함된 패치는 특히 12.1에 관한 것이며, 12.0 (RTX 5090)의 경우 업스트림 플러그인을 수정하지 않고 사용해야 합니다.

5초 렌더링 중 최대 사용량은 약 26 GB를 남기고 121 GB가 여유 있습니다. 15초 클립(362 프레임, 모델의 최대치)을 렌더링하면 10–13 GB가 남아 있으며 약 32분이 소요됩니다.

## 크레딧 (Credits)

- **[MiniMax](https://huggingface.co/MiniMaxAI/MiniMax-H3)** — H3 모델과 오픈 가중치(open weights).
- **[NVIDIA NVlabs Sol-Engine](https://github.com/NVlabs/Sana/tree/sol-engine)** (Apache-2.0) —
  Sol-Attn, FirstBlockCache 및 batched-VAE 기술. 여기에 포함된 두 포트는 해당들의 `models/minimax_h3/optimized/` 코드에서 파생되었습니다. README의 분석 내용이 이 포트를 다루기 쉽게 만들었습니다. [논문](https://arxiv.org/abs/2607.24027).
- **[KingGore](https://github.com/KingGore/ComfyUI_sol-attn_Blackwell)** (Apache-2.0) —
  Blackwell용 Sol-Attn의 최초 ComfyUI 패키징입니다. Apache-2.0 §4b에 따라 변경 사항을 알리는 NOTICE가 포함되어 여기에 사전 수정된 형태로 보관되었습니다.
- **[kijai](https://github.com/kijai/ComfyUI-SolAttn_triton)** — 이 스택이 기본으로 사용하는 INT8/TMA 및 sigma-window gating을 갖춘 Triton Sol-Attn 구현체.
  *포함되지 않음:* 해당 저장소는 라이선스 파일이 없으므로, `install.sh`가 재배포하는 대신 업스트림에서 클론합니다.
- **[Comfy-Org](https://huggingface.co/Comfy-Org/MiniMax-H3)** — 패키징된 INT8/NVFP4 가중치와 ComfyUI의 day-0 H3 노드 및 템플릿.

## 라이선스 (License)

Apache-2.0 (라이선스 참조 [LICENSE](LICENSE)) — `nodes/h3_fbc_node.py`와 `nodes/h3_vae_batch.py`가 파생된 NVIDIA의 Sol-Engine과 일치합니다. 포함된 타사 코드는 자체 라이선스와 공지 사항을 유지합니다.