Ruach Studio: 자체 GPU 환경에서 YuE2를 활용한 노래 제작 스튜디오

저희는 지난 몇 주 동안 m-a-p의 오픈 소스 노래 모델인 YuE2를 중심으로 한 스튜디오를 구축했으며, 오늘 첫 번째 릴리스 후보 버전을 공개합니다. 스타일과 가사를 작성하면, 이 시스템이 사용자의 GPU에서 직접 곡을 작곡하고, 노래하고, 렌더링합니다. 클라우드 채팅 모델에 Writer를 연결하는 경우를 제외하고는 아무것도 기기를 벗어나지 않습니다.

무엇을 할 수 있나요?

• 최대 8분 분량의 전체 곡 제작이 가능합니다. RTX 3090 한 장비에서, 6분 12초짜리 노래를 126초 만에, 그리고 악보가 먼저 작성되는 7분 25초짜리 노래를 198초 만에 완성할 수 있습니다.
• 악보 우선(Score first): YuE2는 음표가 들리기 전에 ABC 형식으로 멜로디와 코드를 작성합니다. 사용자는 이를 편집하거나, 변조하거나, 직접 만든 악보나 MIDI 파일을 가져올 수 있습니다.
• 두 개의 시드: 노래 자체를 위한 시드(music seed)와 소리를 새롭게 듣기 위한 시드(sound seed) 두 가지가 존재합니다.
• 스튜디오 내 LoRA 학습: 사용자의 자체 곡을 대상으로, 비양자화(unquantized, bf16) 상태로 LoRA 학습이 가능하며, 어떤 에포크부터 들어야 할지 알려주는 텔레메트리 기능도 제공됩니다. 어댑터는 측정된 경로 위에 쌓이며, 측정된 범위 내에서 작동합니다. 이는 쓰레기를 막아주는 방어막 역할을 합니다. 악보에 문제가 생기면 몇 초 만에 포착되어 GPU 자원이 소모되기 전에 실행이 중단되며, 그 이유가 사용자에게 알려집니다.
• 후반 작업(Post-production): 스펙트럼 분석, 아티팩트 제거(artifacts), 디버즈(debuzz), 스테밍(stems) (BS-Roformer, htdemucs), 리마스터링, 업스케일링(UniverSR), 그리고 Whisper를 이용한 가사 검증까지 모두 로컬에서 처리됩니다. 이 모든 과정을 하나의 체인으로 연결합니다.
• DAW 연동 (실험적): 스테밍, MIDI 형식의 악보, 템포, 리전 형태의 섹션, 타임라인 상의 가사가 포함된 REAPER 프로젝트와 Waveform 및 Bitwig용 DAWproject를 지원합니다.
• 다양한 기능: 모든 테이크에 대한 라이브러리안(Librarian), 버전 관리 및 채팅 모델(로컬 또는 OpenRouter)을 갖춘 Writer, 귀로 탐지한 200개 악기 치트 시트, API와 MCP 서버, 그리고 7개 언어로 된 페이지까지 제공됩니다.

아직 아닌 것 (미흡한 부분)

• SUNO처럼 즉시 사용하기에는 다듬어지지 않은 부분이 있습니다: - 믹스에 잡음이 발생할 수 있습니다(Debuzz가 도움을 줄 수 있음); - 가사가 이탈할 수 있습니다(가사 검증 기능이 위치를 찾아냄); - YuE2가 일부 악기를 약하게 연주하거나 아예 연주하지 않을 수 있습니다(LoRA 학습으로 개선 가능합니다).

필수 요구 사항 및 라이선스: NVIDIA GPU (전체 정밀도에서 모든 기능을 사용하려면 24 GB 필요), Linux 운영체제, 모델, LoRA 및 작업 공간을 위해 약 120 GB의 디스크 공간이 필요합니다. 코드는 AGPL-3.0-or-later 하에 라이선스 되어 있습니다.

YuE2 가중치는 CC BY-NC 4.0이며, 이 라이선스는 노래가 아닌 가중치에 관한 것입니다. 판매하기 전에 읽어보세요. 다음에 올 것들 (rc2 이후): 아티스트 공간: 하나의 시드에서 세 가지 모양으로 커버를 만들고, 제목과 아티스트 이름이 적혀 있습니다. 페이지 언어가 다섯 개 더 추가됩니다: 중국어, 프랑스어, 포르투갈어, 독일어, 일본어; 나중에 오른쪽에서 왼쪽으로 쓰는 언어도 추가될 예정입니다. 음성 어댑터는 말하는 목소리를 기반으로 훈련되었으며, Hugging Face에 종류별로 이름이 지정되어 있습니다. 타이핑할 때 가격을 보여주는 작곡가(Writer's) 모델들; 더 차분한 공간들 (대화, 팁, 아이콘 버튼용 하나의 모양). 데스크톱 앱: 설치 가능한 페이지가 먼저이고, 그 다음 Electron으로 구현됩니다. REAPER, Waveform, Bitwig용 네이티브 플러그인도 제공됩니다. 링크 - 코드: https://github.com/igrbible/Ruach_Studio - 모델 (고정됨, 확인됨): https://huggingface.co/goldhub/Ruach_Studio_Models - 사이트: https://ruachstudio.igr.bible - 방별 전체 가이드는 스튜디오 내부와 docs/GUIDE.md에 있습니다. 기반 기술: - m-a-p의 YuE2; - ServeurpersoCom의 yue2.cpp; - IronWolve의 YuE2 Kit v12 (페이지 및 스크립트의 기본). 우리의 모든 변경 사항은 번호가 매겨지고 문서화되었습니다 (HERESY 1001–1167). 이슈와 PR을 환영합니다. 저희는 저희 소유 장비가 아닌 기기에서 어떻게 작동하는지 듣고 싶습니다. 제출자: /u/Heretical-Tandem [링크] [댓글]