Omni .char (동일한 얼굴, 의상 및 신체)에 일관된 음성 추가: 몇 초 분량의 샘플 오디오만으로 가능합니다.

여러분, 저는 한동안 일관된 캐릭터 포터블 형식(.char)을 만드는 작업을 해왔고, 동일한 얼굴, 의상, 신체를 구현하는 데 성공했습니다. 하지만 영상 생성 전반에 걸쳐 음성 역시 일관성이 유지되어야 한다고 느꼈습니다. 그래서 최근 테스트에서 여러 영상 생성 과정에 걸쳐 일관된 음성과 립 싱크를 구현할 수 있게 되었습니다. mp3 또는 wav 형식의 10~30초 분량의 음성 샘플만 있으면, 캐릭터가 사용자의 샘플에서 복제된 목소리로 말하게 됩니다.

Reddit 게시물: 얼굴, 신체 및 의상 일관성에 대한 세부 정보는 여기서 확인하실 수 있습니다. .char, comfyui 노드 및 프롬프팅 세부 정보에 대해서는 여기에서 더 많은 내용을 읽어보실 수 있습니다. 음성 프롬프트 - chris가 인터뷰를 하며 "시간은 휘어질 수 있고, 꿈은 접힐 수 있지만, 캐릭터의 목소리는 결코 변해서는 안 됩니다. OmniChar와 함께라면 그렇지 않습니다. 일관된 음성이 여기에 있습니다."라고 말합니다. chris가 약간 손을 움직이며 인터뷰하는 모습으로 "놀랍습니다. 단순히 목소리만이 아닙니다. 얼굴과 의상, 그리고 신체까지도 그렇습니다. Dot char는 완전한 포터블 팩입니다."라고 말했습니다.

ComfyUI 노드가 선택적 샘플 음성 입력을 받도록 업데이트되었습니다. 최신 comfy 노드는 다음에서 다운로드하세요: https://github.com/omnichar/ComfyUI-Omnichar

워크플로우: 음성이 포함된 .char 만들기
MiniMax H3에 음성 추가
전체 얼굴, 신체, 의상 워크플로우

제한 사항:

• 영어에는 좋지만, 비영어권 언어에서는 말이 많아질 수 있습니다.
• 립 싱크는 H3 자체에서 나오며, 별도로 추가되는 것은 없습니다.
• 샘플에 여러 목소리를 넣는 것은 피하세요. 샘플 입력은 노드 저장소에 추가되었습니다.

참고: ComfyUI 노드는 아직 나이틀리(nightly) 릴리스 상태이므로, 설정을 그에 맞게 업데이트하거나 직접 git repo URL을 통해 설치해야 합니다.

관련 리소스:
Omnichar 저장소: https://github.com/omnichar/OmniChar (GPLv3), krea2 등에서 .char를 지원하며 캐릭터 파인튜닝과 같은 추가 기능도 제공합니다.
커뮤니티 캐릭터: https://www.omnichar.org/characters

도움이 되었으면 좋겠습니다.
제출자 /u/ashishsanu [링크] [댓글]