제가 한 건 아니고요, 더 좋을 수도 있는 다른 것을 했습니다

3분 23초로 빨리 감기하여 아래 영상의 광기를 확인해 보세요. 어제 저는 열화되는 latent를 수정하기 위해 시도했던 실험에 대해 게시물을 올렸습니다. https://www.reddit.com/r/StableDiffusion/comments/1x54q07/i_swore_at_claude_until_he_made_a_nodegroup_that/ 위 내용은 일반적인 latent 체인과 저의 Pull Forward Node, 그리고 u/xyzdist의 리샘플링(resample) 방법을 사용하여 19개의 클립을 연결한 것으로, 열화되는 latent에 맞서 싸우기 위한 것입니다. 제가 이 내용을 reddit에서 공인된 공식 좋은 사람인 u/ShutUpYoureWrong_에게 설명했던 방식은 다음과 같습니다. 그래서 제가 가졌던 아이디어는 움직이는 픽셀이 그렇게 빨리 열화되는 것이 아니라, 정적인 픽셀들이 빠르게 열화된다는 것이었고, 저는 minimax가 아무리 똑똑하더라도 기본적으로 배경의 열화되는 픽셀을 가져와서 이미지를 일관성 있게 유지하기 위해 움직이는 픽셀까지 열화시킨다고 가설을 세웠습니다. 이것이 사실인지는 모르겠습니다. 단지 제가 작업 방향을 잡는 데 도움을 준 생각일 뿐입니다. 저는 실제로 배경을 목표로 하는 것이 아닙니다. 만약 배경을 한다면 sam을 사용하면 될 것입니다. 저는 움직임을 목표로 합니다. 움직이는 픽셀은 피하고 정적인 픽셀들을 대체하고 복구하는 것입니다. 제 이론은 정적인 픽셀들을 유지한다면 전체 이미지가 열화되는 것을 멈추거나 적어도 더 느리게 열화될 것이라는 것이었습니다. 여기서 배경에 초점을 맞춘 것은 u/xyzdist가 FL2V를 사용하여 리샘플링하고 본질적으로 열화된 픽셀을 씻어내는 방법을 만들었기 때문입니다만, 그의 문제는 배경이 계속 바뀌는 것이었습니다. 그래서 저는 이것을 보고 우리가 무의식중에 같은 해결책의 보완적인 절반을 만들어내고 있다고 생각했고, 제가 latent 마스킹(latent masking)을 사용하여 움직임 마스크로 복구된 배경을 보호하면, 그의 방법이 나머지 픽셀들을 리샘플링하여 컨텍스트 모션에 신선하고 깨끗한 latent를 제공할 수 있을 것이라고 생각했습니다. 개념은 작동합니다. 영상에서 볼 수 있듯이 배경 영역의 상당 부분이 열화를 피하고 있지만, Latent Space가 작동하는 방식 때문에 디코딩(decoding)과 리인코딩(re-encoding)을 최소 한 번 해야만 할 것 같고 이것이 저의 다음 단계입니다. 하지만!!!

제가 하려고 했던 것의 최종 버전에서 터무니없는 일이 발생했고, 솔직히 위 이론이 맞다는 것과 제가 라텐트(latents)를 느꼈기 때문에 설명할 방법이 없습니다. 왜냐하면 풀 포워드(pull forward)로 인해 품질 저하와 풀 포워드 사이의 간격이 너무 늘어나다가 약 3:23 지점에서 고무줄처럼 거의 완벽한 품질로 갑자기 '튕겨 오르는' 현상이 발생했거든요! 이건 편집이 아닙니다. 말 그대로 제 익스포트(exports)에서 나온 것입니다. 곧 GitHub에 공개할 예정이니 여러분도 재현해 보시길 바랍니다. submitted by /u/roychodraws [link] [comments]