Geiru Context Suite를 사용한 2분 분량 클립 제작 첫 테스트! 정말 잘 작동합니다!!

전통적인 영화 편집자이자 영화 제작자로서, 저는 길고 확장된 장면을 만들어낼 수 있는 좋고 신뢰할 만한 방법을 찾아왔습니다. 여러 가지 다른 방법을 시도했지만 결과에 만족하지 못했습니다... 바로 지금까지! u/roychodraws와 그의 Geiru Context Suite 덕분입니다!!! 그는 여기에 관련 게시물을 올렸는데, 이 링크에서 확인할 수 있습니다: Flip a switch and stop your Videos from Degrading. 50 Clip Test No Degrading at the end. Geiru Context Suite : r/StableDiffusion 그리고 그의 GITHub 링크는 여기입니다: roycho87/geiru_context_suite 간단한 테스트를 위해, 저는 ChatGPT에게 워크플로우를 설정하도록 했습니다. (지금 타이핑을 하니, Roycho가 자신의 GITHub에 몇 가지 샘플 워크플로우를 포함하고 있다는 것을 기억합니다.) 렌더링은 VRAM 96GB를 가진 임대 RTX PRO 6000 Server Edition에서 2시간 9분이 걸렸습니다. 저는 과정 중에 실제로 얼마나 많은 VRAM이 사용되는지 확인하지 않았습니다. 약 35초와 44초 지점에 두 개의 점프컷(jump cuts)이 있습니다. 최근에는 ChatGPT가 두 개의 서브 에이전트(sub-agents)를 가동하여 문제 해결을 돕게 했는데, 이것이 그들이 분석한 내용입니다: 네—두 서브 에이전트 모두 같은 설명을 발견했습니다: 점프는 정확히 두 번의 생성 창 전환 지점(generation-window handoffs)에서 발생합니다. 정확한 시간 | 무엇이 갑자기 변하는지 | 35.625초 | 전신 와이드 → 미디엄 프레이밍 | 44.125초 | 더 가까운, 아래를 내려다보는 주머니 액션 → 더 넓은, 고개를 들고 보는 시점 이들은 이미 원본 마스터(master)에 포함되어 있었기 때문에 내보내기 과정에서 발생한 것이 아닙니다. 저희는 모든 13개의 전환 지점을 확인했으며; 오직 이 두 곳만이 눈에 띄는 하드컷을 보여줍니다. 가장 강력한 설명은 우리의 '20-local-steps/20-total-steps' 설정입니다: 각 창이 개별적으로 완료되었기 때문에, 중첩되는 부분에서 최종적인 결합 다듬기(joint refinement)가 전혀 이루어지지 않았습니다. 이 두 경계 지점에서 창들이 프레이밍과 포즈에 대해 의견 불일치를 보였습니다. 카메라 지침, 오버랩 노이즈, 그리고 시작 이미지 앵커 등이 기여했을 수 있지만, 이 테이크만으로는 개별적인 영향을 식별할 수 없습니다.

다음 실험을 위해, 나머지 모든 것을 일치시키면서 공동 정제(joint refinement)를 위한 두 단계의 짧은 전환을 테스트해 보려고 합니다. 이것은 보장된 수정 사항이라기보다는 검증 가능한 가설입니다. 전체 2분 분량의 결과물이 환상적입니다!! 지금 너무 행복해요! 만약 쉽게 고칠 수 있는 점프 컷(jump cuts)이 저의 가장 큰 문제점이라면... 음... 이 워크플로우를 많이 사용할 것 같아요!! 렌더링 설정: Setting Value Model MiniMax H3 Singularity v2 INT8 Character LoRA Molly Regular v02, epoch 25 — strength 1.0 Resolution 1376 × 768 , 약 1.06 MP Frame rate 24 fps Duration Generated 120.625 seconds; delivered 120 seconds / 2,880 frames Sampler res_multistep Scheduler Simple Sampling steps 20 Denoise 1.0 Seed 12101968 Guidance BasicGuider, 별도의 CFG 설정 없이 Attention Patched Sage Attention Dynamic VRAM Disabled References Forest environment and druid costume turnaround Additional enhancement LoRAs No Realism, Anti-Burn, 또는 turbo adapter 캐릭터는 ChatGPT의 ImageGen을 사용하여 생성된 이미지 데이터셋에서 온 맞춤형 학습 LoRA입니다. 이 데이터셋에는 다양한 포즈, 장소, 조명 느낌이 담긴 99장의 이미지가 포함되어 있었습니다. LoRA는 Fizwig으로 학습되었습니다. 저는 아직 이 분야가 많이 생소해서요... 아마도 99장은 과했던 걸까요? 모르겠어요. 하지만 결과물에 대해서는 매우 만족합니다! 숲은 제가 원시림(primeval forests)을 구글 검색에서 무작위로 가져온 참조 이미지였습니다. ChatGPT가 워크플로우와 프롬프트를 설정했을 때, 이 숲을 attribute_transfer(속성 전이)로 설정했습니다. 이는 사진이 '진정한' 참조라기보다는, 단지 숲의 '아이디어'를 제공했고 H3는 거기서부터 그 아이디어를 바탕으로 진행했다는 의미입니다. 그래서 풍경에 좀 더 스타일리시하거나 반-일러스트레이션 같은 느낌이 나는 것입니다. 캐릭터 의상은 ChatGPT로 생성되어 회색 마네킹에 '배치'되었습니다. 그리고 이것을 단일한 8개 패널 이미지로 렌더링하여 워크플로우에서 참조 이미지로 사용했습니다.

‘패치된 Sage Attention’ – 원래는 많은 VRAM을 가진 임대 GPU에서 더 긴 렌더링을 ‘무차별적으로(brute force)’ 시도하고 있었는데, 렌더 결과가 제가 ‘갈색 눈(brown snow)’이라고 부르는 현상이 발생하는 문제가 계속되었습니다. VRAM이 부족할 상황은 전혀 아니었지만 문제는 지속되었습니다. 이 문제의 원인을 파악하기 위해 Codex를 사용했습니다. Codex는 Sage Attention에서 ‘수치적 정확도(numerical accuracy)’에 문제가 있어 더 길고 고해상도의 렌더링 시 손상을 일으키며, 이것이 ‘갈색 눈’ 현상의 원인임을 밝혀냈습니다.

Codex가 패치를 설명하게 하겠습니다. SageAttention을 활성화한 상태에서 긴 고해상도 H3 렌더에 ‘갈색 눈’ 손상이 발생하고 있었습니다. 테스트 결과는 이 문제가 크고 스트라이드된(strided) Q/K/V 텐서 처리 방식과 관련되어 있음을 추적했습니다. 입력값을 연속적인(contiguous) 상태로 만들자 수치적 정확도가 복구되었으며, 이는 VRAM 부족보다는 주소 지정/레이아웃 문제임을 시사합니다.

정확한 결함 커널 명령어는 아직 파악하지 못했습니다. 저희의 패치는 56개의 어텐션 헤드를 최대 8개까지의 작고 연속적인 그룹으로 처리한 다음 출력값을 재조립합니다. 이 과정에서 Sage CUDA FP8-PV 경로와 전체 시퀀스 어텐션(full-sequence attention)은 그대로 유지되며, 시간적 청킹(temporal chunking)이나 컨텍스트 손실은 없습니다.

실제 H3 활성화 값에 대해 PyTorch SDPA 대비 상대 L2 오차는 0.6261에서 0.00955로 떨어졌습니다. 이는 약 65배 낮은 수치이며, 98.5%의 감소율을 의미합니다. 이 측정값은 모든 레이어 또는 타임스텝이 아닌, 첫 번째 어텐션 호출에서 270,921개의 키에 대한 128개의 샘플링된 쿼리를 대상으로 했습니다. 이후 패치된 렌더는 갈색 눈 실패 현상을 피했습니다.

제가 이해하기로는, 곧 새로운 버전의 Sage Attention이 나올 예정이라고 합니다.

Geiru Context Suite 설정 값은 다음과 같습니다: Setting Value Windows 14, 별도의 액션 프롬프트(action prompts) Window 길이 243 프레임 / 10.125초, 오버랩(Overlap) 39 프레임 / 1.625초, 윈도우 간격(Window spacing) 204 프레임 / 8.5초, 스위치 단계(Switch step) 20/20 — 최종 관절 다듬기 없음 (no final joint refinement), Keystone / back capstone 모두 활성화됨, Capstone 활성화 설정 15, 샘플링 단계 16부터 활성화, Fuse 방식 Pyramid, 하지만 20/20에서 최종 블렌딩 단계는 아님, Finished handoff 비활성화, Context noise 활성화, 강도(strength) 1.0, 선형 페이드(linear fade), FreeNoise / sound-first 모드 모두 비활성화, 충돌 방지(Crash protection) 활성화

저는 이 설정들을 전혀 건드리지 않았습니다. 이것들은 제가 가지고 있던 기본값입니다. 결론적으로... 저는 오늘 매우 행복한 AI 영화 제작자입니다! u/roychodraws와 그가 이것들을 공개하는 과정에서 도움을 준 모든 분들께 다시 한번 큰 감사를 전합니다. (그는 자신의 Reddit 게시물과 GitHub 페이지에 목록을 올렸습니다. 방문해 보세요!!)

제출자: /u/illumnat [링크] [댓글]