[H3 Degradation] 나의 차례! 모션-컨텍스트 저하(motion-context degradation) 해결 시도

저하(Degradation) 주제가 다시 뜨거워지고 있습니다! 몇몇 포스팅에서 그들의 접근 방식을 보여주는 글들을 봤기 때문에, 제가 업데이트할 때라고 생각했습니다. (또한 진행 상황이나 새로운 발견이 많지 않아서도요.) 그래서 저의 워크플로우와 노드를 공개합니다. 더 많은 분들이 테스트해 주시길 바라며, 더 나은 해결책을 제시해 줄 천재를 찾고 있습니다. 제 목표는 낮은 수준의 노드(low-level nodes)에 초점을 맞추어, 최소한의 변경만으로 네이티브 모션-컨텍스트 워크플로우 위에 거칠게 구축하는 것입니다. 워크플로우가 가능한 한 단순하게 유지하는 것이 핵심입니다. 이것은 Director / Extender AIO 노드가 아닙니다. 사용자가 자신의 설정에 통합할 수 있는 낮은 수준의 노드를 제공합니다. 제가 보는 모든 접근 방식에는 장점과 단점이 있고, 저의 방법에도 단점이 있지만, 대부분의 경우 작동할 것이라고 생각합니다. 여기에 저의 시도가 있습니다: https://github.com/xyzDist/H3-LongTakeNoCuts 다른 테스트 영상들:

** 위의 테스트 영상에서 그녀는 횡설수설(gibberish)을 말하고 있으니 무시하세요! ** 제가 더 나은 readme와 워크플로우 사용 방법 등 더 많은 세부 정보를 작성할 수 있습니다... 현재로서는, 그냥 설치하거나 예제 워크플로우를 시도해 보거나 자신의 설정에 통합할 수 있습니다. ** 오디오는 문제가 있습니다(cooked). 제 단계가 매우 낮았습니다. 저의 다른 오디오 재생성(audio regen) 포스팅 https://www.reddit.com/r/StableDiffusion/comments/1w5zh4z/bad_audio_fixed_with_fast_regen_audio/를 참고하시거나, Brad Pitt의 Adio Refine 노드: https://github.com/Adudeguyman/ComfyUI-H3-AudioRefine도 사용해 보시길 권장합니다. 또한 이것도 확인해 보세요: https://www.reddit.com/r/StableDiffusion/comments/1wzxyaa/overcome_degradation_here_are_2_ways_to_use_my/ 위 OP의 OBVPM AIO 노드 접근 방식은 실제 잠재 공간(latent)을 재생성하며, 2가지 방법을 보여줍니다: 컨텍스트 창(context-window)을 사용하여 저해상도 전체 길이 클립을 생성한 다음 업스케일하는 것. 또는 현재 장면을 건너뛰고 먼저 다음 장면을 생성(새롭고 신선한 잠재 공간)한 다음 연결하기 위한 브릿지 샷(bridge shot)을 만드는 것입니다.

두 방법 모두 실제의 신선한 잠재 공간(fresh latent)을 사용하므로 더 이상 저하가 발생하지 않습니다. 하지만 제 의견으로는, 전체 긴 길이의 샷들을 한 번에 하나의 생성으로 처리할 수는 없습니다. 수정하거나 시드 탐색(seed hunting)을 하는 것이 악몽과 같습니다. 이것은 단지 제 개인적인 선호일 뿐입니다. 브릿징(bridge) 작업 자체가 저에게는 이상하게 느껴집니다. 역동적이거나 액션이 많은 샷에서는 어려울 수 있습니다. 여러분께는 잘 작동할 수도 있겠죠. 현재 저는 여전히 모션-컨텍스트 잠재 공간(motion-context latent)을 사용하며, 잠재 공간을 새로 고치기 위해 추가적인 리샘플링 단계(resample step)를 수행하고 있지만, 이것이 완전히 새로운 신선한 잠재 공간은 아닙니다. 따라서 많은 세그먼트에서 여전히 색상 포화도가 높아지는 것(제가 나중에 해결책을 찾을 수 있는 부분입니다)을 보게 될 것입니다. 하지만 저하는 최소한으로 유지할 수는 있습니다. 그러니 선택은 여러분의 몫입니다. submitted by /u/xyzdist [link] [comments]