Fish 오디오 드라마 3편이 48GB NVIDIA 카드를 필요하다고 하는데, 내 16GB Radeon은 동의하지 않는다

Drama 3는 공식적으로 48GB의 NVIDIA GPU가 필요합니다. 저는 이 기능을 제 RX 9070에 적용하고 싶어서 Claude와 함께 Red Curtain을 만들었습니다. 작동 방식은 다음과 같습니다: 이것은 토큰당 약 3B개의 활성 MoE(Mixture-of-Experts) 모델이며, FP8 전문가들(~32 GB)은 시스템 RAM에 남아 있다가 실제로 사용되는 것만 GPU에 캐시됩니다. 나머지 모든 것은 카드에서 BF16으로 실행됩니다. 제 장비의 수치는 다음과 같습니다: - 로드 시간 ~17초 - 3.3초 분량의 음성은 ~13초, 11.6초 분량은 ~37초 소요 - VRAM 약 11–12 GB, RAM 약 35 GB입니다. 따라서 실시간보다는 느리지만 짧은 테이크에는 괜찮습니다. 작은 웹 UI가 포함되어 있습니다: 참조 클립을 통한 음성 복제(voice cloning), 다중 화자 스크립트, 그리고 Fish 자체 에디터와 동일한 태그([laughing], [sighing], <whisper>…</whisper> 등)를 사용할 수 있습니다. 알려진 문제점: 때때로 테이크가 첫 문장을 말하고 침묵하는 경우가 있습니다. 이것은 Drama 3의 고질적인 문제입니다(vLLM 레시피에서도 언급합니다). 제가 Fish의 참조 코드와 비교해 봤는데, AMD 포팅 문제는 아닙니다. 큰 도움이 된 것은 top-k를 30 대신 사용해서 각 화자에게 참조 음성을 제공하고, 사운드 태그로 라인을 시작하지 않은 것입니다. 이 모든 것이 현재 기본 설정입니다. 지금까지 RX 9070 (gfx1201)에서만 테스트했으므로, 다른 카드에서도 작동하는지 듣고 싶습니다. 가중치(Weights)는 포함되어 있지 않으며, Hugging Face에서 다운로드해야 합니다. Fish Audio와 제휴된 것은 아닙니다. Fish Audio로 제작되었습니다. https://github.com/re133/red-curtain /u/fechyyy 님이 제출했습니다. [링크] [댓글]