[MiniMax-H3] 프롬프트 없이 미묘한 표정과 자연스러운 멈춤 구현하기

AI처럼 보이거나 플라스틱 피부를 가졌거나 로봇처럼 말하는 캐릭터가 등장하는 영상은 많이 있습니다. 하지만 감정, 즉 미묘한 얼굴 표정이나 자연스러운 멈춤(natural pauses)에 대해서는 어떨까요? 일반적으로 제시되는 해결책과 조언에는 복잡한 프롬프트 가이드나 유료 플랫폼 접근이 포함됩니다. 저는 그 점을 좋아하지 않습니다. 특히 유료 플랫폼은요. 또한 복잡한 프롬프팅도 싫습니다. 그래서 제가 테스트를 해보았습니다. H3 사용자들이 공통적으로 싫어하는 것이 있습니다: 캐릭터가 횡설수설(gibberish)하기 시작할 때입니다. 때로는 영상 길이가 대화보다 길어서, 캐릭터들이 자신만의 의미 없는 말로 그 간극을 채웁니다. 다른 때는 원래는 대화가 없어야 하는데도 불구하고, 캐릭터가 아무튼 말을 하려고 합니다. 하지만 제 생각에 횡설수설은 큰 장점을 제공합니다: 캐릭터들이 우리가 시키고 싶은 단어에 구애받지 않기 때문에, 말하는 방식에서 훨씬 더 많은 자유를 가지며, 이는 그들이 더 '자연스럽게' 그리고 더 많은 '표현력'을 가지고 이야기한다는 것을 의미합니다. 그래서 저는 이런 생각을 하기 시작했습니다: 만약 캐릭터가 원하는 대로 무엇이든 말하게 한 다음, 오디오와 비디오를 나중에 편집하여 그 횡설수설을 이해할 수 있는 내용으로 바꿀 수는 없을까? 이게 될지 몰랐습니다. 하지만 실제로 됩니다. 게다가, 저는 그러한 클립 중 하나를 참고 자료로 사용하고, 성능상의 이유로 이를 0.25배 다운스케일링(downscaled)한 다음, 모델에 약간의 자유를 주고 (그리고 H3가 너무 선명하게 만들지 않도록 방지하기 위해) 값 '2'인 블러 노드(blur node)를 사용했습니다. 일관성을 유지하려면 이미지 참조 자료를 제공할 수도 있지만, 이 경우에는 '연기력(acting)'에 부정적인 영향을 미쳤기 때문에 그렇게 하지 않았습니다. 최종 영상에서 보시면, 첫 번째 클립과 마지막 클립에서 캐릭터가

이것을 같은 레퍼런스를 사용해서 구현하려면, 단순히 프롬프트로 요청하거나, 노이즈 제거(denoise) 값을 낮추거나, 블러를 높이면 됩니다. 실제 프롬프트에는 카메라 스타일이 포함되지만, 이 부분까지 할 필요는 없습니다. 대화 내용만 포함하면 됩니다. 그게 전부입니다. 저는 공식 형식을 사용하는데, 이렇게 하면 더 이상한 결과가 나올 확률을 줄일 수 있지만, 모든 클립에 다 필요한 것은 아닙니다. 캐릭터를 하나만 사용할 경우에는 언급할 이유가 없습니다. 원본 클립은 544x384 해상도와 12초로 생성되었습니다. (어떤 이유에서인지, 저는 10초나 15초보다 12초일 때 더 좋은 무작위 결과물을 얻는 것 같습니다.) 이후의 클립들은 같은 해상도로 생성했습니다. 그리고 Vegas Pro에서 편집한 후, 로파이(lo-fi) 미학을 위해 비디오를 256x180으로 렌더링했습니다. 마지막으로 Reddit의 압축을 피하기 위해 Handbrake를 사용해 1920x1350으로 업스케일링했습니다. 따라서 최종 영상은 매우 낮은 해상도입니다 (기술적으로는 1080p보다 열 배 작습니다). 모두가 2K로 만드는 데 집중하지만, 저는 그냥 좋은 아날로그/디지털 호러 비디오를 좋아합니다. 그런데 제 건 '호러'라거나 그런 것은 아닙니다. 단순히 미학이 좋아요. 그리고 제가 좋다고 주장하는 것도 아닙니다. 그랬으면 좋겠지만, 제가 말할 입장은 아닙니다. 이것이 워크플로우이며, 혹시 제가 사용한 방법을 테스트하고 싶은 사람이 있다면 참고하세요. 하지만 위 설명만으로도 충분해야 할 것 같습니다. 이 글이 누군가가 더 믿을 만한 캐릭터를 생성하는 데 도움이 되기를 바랍니다. /u/Etsu_Riot 님이 제출했습니다 [링크] [댓글]