클라운 프로페시(Clown Prophecy) 소개: 디그레이데이션 문제를 해결하는 유일한 방법

클라운 컨텍스트 스위트(Clown Context Suite): H3 클립들을 연결할 때, 이 도구들 없이는 영상이 서서히 엉망으로 변합니다. 만약 H3 클립을 여러 개 연결해 본 적이 있다면 그 문제를 알고 있을 겁니다. 새로운 클립은 항상 이전 클립의 끝 부분에서 시작하며, 매번 작은 디테일들이 손실됩니다. 이러한 손실이 쌓여서 클립 10쯤 되면 모든 것이 흐릿하고 색이 바랜 것처럼 보입니다. 이유는 우리가 모델에게 어디서 시작해야 하는지만 알려줄 뿐, 어디서 끝나야 하는지는 절대 알려주지 않기 때문입니다. 마치 사수에게 대략 어느 방향으로 조준할지 말만 하고 목표물을 주지 않는 것과 같습니다. 그가 세상에서 최고의 사수라 할지라도 원하는 지점을 맞히지 못할 것입니다. 그래서 저는 목표물을 제시했습니다.

이 도구는 세 가지 요소로 구성되어 있습니다:

🎈 클라운 컨텍스트(Clown Context): 이전 클립의 마지막 프레임을 가져와 새로운 클립의 시작 부분에 고정시켜, 움직임이 부드럽게 이어지도록 합니다.
🔮 클라운 프로페시(Clown Prophecy)는 시간 여행을 하는 부분입니다. 샷이 렌더링되기 전에, 해당 샷의 끝부분만을 짧고 신선한 클립으로, 오직 샷의 프롬프트와 참조 이미지로부터 직접 렌더링합니다. 이것은 지치고 오래된 뒷부분에서 나온 것이 아니라 처음부터 만들어지기 때문에 품질이 완벽합니다. 이는 아직 존재하지 않는 비디오를 기반으로, 해당 샷이 어떻게 끝날지에 대한 그림과 같습니다.
🤡 클라운 앵커링(Clown Anchoring)은 그 끝부분을 가져와 샷의 뒷부분에 고정시킵니다. 이제 이 샷은 이전 클립으로부터 좋은 시작점을 가지고 있고, 끝에는 깨끗한 목표점까지 갖게 됩니다. 그러면 모델은 중간 부분을 채우면서도 높은 품질의 프레임을 유지해야 합니다. 이렇게 작업을 할 때마다 품질이 끌어올려집니다. 몇 개의 샷마다 프로페시를 실행해주면 디그레이데이션이 눈에 띄지 않을 만큼 심해지는 것을 막을 수 있습니다.

패키지에 포함된 다른 기능들: 바이패스 스위치와 'N개 샷마다 실행' 기능이 있어, 어떤 워크플로우에도 적용할 수 있으며 원하는 경우에만 프로페시를 사용할 수 있습니다. 클라운 샷 카운터(Clown Shot Counter)는 저장된 클립 수를 자체적으로 계산하여 배치 작업이 원활하게 이루어지도록 합니다. 사용 예시 워크플로우도 포함되어 있습니다.

GitHub: https://github.com/roycho87/clown_context_suite

아이디어를 브레인스토밍하는 데 도움을 준 u/shutupyourewrong에게 진심으로 감사드립니다. 그와 아이디어를 주고받지 않았다면 여기까지 오지 못했을 겁니다. 또한 이름을 지어준 것에도 감사합니다.

또한, 믿기 어려울지 모르지만 저는 foxydits에게 어느 정도 공을 돌려야 합니다. 그는 디그레이데이션(degradation)을 멈추는 비결은 끝 프레임 참조 이미지(end frame reference image)를 넣는 것이라고 주장했는데... 이는 완전히 틀렸습니다. 하지만 그것이 제가 이것을 생각해내는 데 도움이 된 아이디어를 촉발했습니다. 그의 기여에 경의를 표하며 저는 제 워크플로우(workflow) 이름을 변경했습니다. submitted by /u/roychodraws [link] [comments]