Claude에게 욕을 하다가 디그레이데이션을 절반으로 줄이는 노드 그룹을 만들게 되었습니다.

저는 디그레이데이션에 대한 아이디어를 가지고 만지작거리고 있었습니다. 본질적으로 잠재 공간(latent space) 내부에 정적 이미지 프레임을 사용하고, 이를 리샘플링하는 대신 리샘플링 과정을 우회하여 이전 클립이나 앞부분의 신선한 잠재값(fresh latents)에서 마스킹을 사용하여 나중 영역에 다시 붙여서 프레임을 복구하는 것입니다. 이를 위해 모션 마스크(motion mask)를 사용합니다. 본질적으로 잠재값을 진단 디코딩하여 픽셀 변화를 측정하고, 이를 움직임(motion)과 안정적인 픽셀(stable pixels)로 태그합니다. 그런 다음 안정적인 픽셀은 마스킹되어 앞으로 당겨지고(pulled forward), 움직이는 픽셀은 그대로 둡니다. 저는 이 아이디어를 u/xyzdist의 FL2V 리샘플링 방식과 결합했고, 배경을 어느 정도 안정적으로 유지하면서 디그레이데이션을 절반으로 줄인 것처럼 보입니다. 알아두실 점: 여전히 디그레이데이션이 존재하지만, 그저 느릴 뿐입니다. 저는 아직 풀 포워드(pull forward)와 리샘플링의 설정을 조정하고 있습니다. 이 모든 것은 잠재 공간에서 발생하며, 디코딩은 단지 진단 목적일 뿐입니다. 여러분이 워크플로우로 테스트하고 가지고 놀 수 있도록 노드 팩 링크를 여기에 공유합니다: https://github.com/roycho87/comfyui-h3-pullforward 또한, 부가적으로 제가 폴더 디렉토리에서 오디오를 업로드하는 노드를 만들었습니다. 이는 사전 로드된 오디오를 사용할 때 컨텍스트 모션에 매우 유용합니다. 왜냐하면 오디오를 분할했다면(my audio splitter로) 증가시키도록 설정하여 순서대로 오디오를 불러올 수 있기 때문입니다: https://github.com/roycho87/comfyui-load-audio-batch-from-dir 공개합니다: 이것은 완전히 감으로 코딩한 것입니다. 저는 비디오 편집자이지 프로그래머가 아닙니다. 이 shit이 어떻게 작동하는지 거의 모릅니다. 제가 계획하고 있는 방향을 변경하거나 좁힐 수 있도록 브래드 피트만큼 지식이 많은 사람에게 무언가를 설명해 주었으면 합니다. /u/roychodraws에 의해 제출됨 [링크] [댓글]