SoulX-FlashHead와 LFM3-Audio를 이용한 로컬 실시간 토킹 아바타 생성
요약
로컬 환경에서 SoulX-FlashHead와 LFM3-Audio를 결합하여 실시간 상호작용 토킹 아바타 생성 파이프라인을 구축했습니다. 이 워크플로우는 음성 입력 전사(OWSM v4)부터 대화 응답 및 애니메이션까지 처리합니다. RTX 5090 기준 지연 시간은 약 850ms이며, cuDNN 사용이 필수적입니다.
핵심 포인트
- 파이프라인은 로컬에서 실행되며, WebUI를 통해 데모가 가능합니다.
- SoulX-FlashHead는 생성된 음성으로부터 초상화를 실시간 애니메이션화합니다.
- RTX 5090 환경에서 지연 시간은 약 850ms로 측정되었습니다.
- cuDNN 사용이 필수적이며, 미사용 시 추론 속도가 크게 저하됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기