Fish Audio Drama 3을 위한 커스텀 노드 제작 - 8GB VRAM으로도 작동 가능 - HF의 양자화된 가중치 사용

Fish Audio Drama 3은 ComfyUI의 네이티브 노드로 변환되었으며, ComfyUI-Drama3입니다. 이 모델은 음성 복제(voice cloning), 대화 및 [sighs]나 [whispers]와 같은 인라인 지시어에 사용되는 35B 텍스트-음성 변환(text-to-speech) 모델이며, 8GB의 VRAM을 가진 카드에서도 구동됩니다. 모델의 90%는 라우팅된 전문가(routed experts)로 구성되어 있으며, 각 오디오 프레임은 레이어당 256개 중 단 8개만을 사용하므로, 노드는 전문가들을 시스템 RAM에 유지하고 사용되는 것들의 캐시를 GPU에 저장합니다. 각 파일에는 전체 모델이 하나의 파일로 담겨 있고, 코덱은 별도입니다. 가중치: https://huggingface.co/PedroMarinhoDev/Drama-3-ComfyUI 노드: https://github.com/PedroMarinhoDev/ComfyUI-Drama3 데모 페이지: https://pedromarinhodev.github.io/ComfyUI-Drama3/ 워크플로우: https://github.com/PedroMarinhoDev/ComfyUI-Drama3/tree/main/example_workflows 문제가 있으면 알려주세요. /u/LatentSpacer가 제출했습니다. [링크] [댓글]