Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Magenta RealTime 2 (MRT2)는 실시간 음악 생성을 위한 최첨단 오픈-웨이트 모델입니다. 이 프로젝트는 오픈-웨이트 모델, JAX/MLX 기반 Python 라이브러리, 그리고 Apple Silicon용 C++ 추론 엔진을 포함합니다. 사용자는 이를 활용하여 추론 실행, DAW 플러그인 구축 등 다양한 애플리케이션에 임베드할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기[!NOTE]
사전 구축된 앱 및 플러그인은 여기에서 확인하세요.
Magenta RealTime 2 (MRT2)는 실시간 음악 생성을 위한 최첨단 오픈-웨이트 모델입니다. 이 모델은 여러 핵심 구성 요소를 포함하고 있습니다.
magenta-rtmagentart::core이 프로젝트를 사용하여 추론을 실행하거나, DAW 플러그인을 구축하거나, 상상하는 새로운 애플리케이션에 모델을 임베드할 수 있습니다.
향후 업데이트에서는 지도 학습 미세 조정(supervised fine-tuning)을 지원할 예정입니다.
📖 전체 문서: https://magenta.github.io/magenta-realtime/
(또는 로컬에서 구축하세요 — docs/README.md 참조).
[!NOTE]
Magenta RealTime v1을 찾으시나요? 원래 모델과 코드는v1_legacy브랜치로 이동했습니다.
magenta_rt/ — Python 추론 라이브러리 (JAX / MLX 백엔드).core/ — C++ 추론 라이브러리 (magentart::core).examples/mrt2/auv3 — DAW용 올인원 AUv3 플러그인.examples/mrt2/standalone — 올인원 독립형 macOS 앱.examples/jam/ — 음표 제어 탐색을 위한 앱.examples/collider/ — 프롬프트 공간 탐색을 위한 앱.notebooks/ - Python API를 테스트하기 위한 노트북.**실시간 스트리밍(Real-time streaming)**에는 Apple Silicon(M 시리즈)이 필요합니다. 두 가지 모델 크기를 제공합니다:
mrt2_small (230M 파라미터) — Air 모델을 포함한 모든 Apple Silicon Mac에서 실시간 실행 가능.mrt2_base (2.4B 파라미터) — 더 높은 품질; 실시간 스트리밍에는 Pro Max 칩 필요.아래 표는 어떤 장치들이 **실시간 스트리밍(real-time streaming)**을 지원하는지 보여줍니다 (재생 속도보다 빠르게 오디오 생성):
| Device | mrt2_small (230M) | mrt2_base (2.4B) |
|---|---|---|
| M5 Max | ✅ | ✅ |
| ... |
참고: 두 모델 모두 Python 라이브러리를 통해 모든 Apple Silicon Mac 또는 NVIDIA GPU에서 오프라인(non-real-time) 추론도 실행할 수 있습니다. 자세한 내용은
docs/models.md를 참조하세요.
# 아직 설치하지 않았다면 uv를 설치하고 venv를 생성합니다
curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv --python 3.12
...
로컬 개발을 위해서는 PyPI에서 설치하는 대신 레포지토리를 클론하세요:
git clone --recurse-submodules https://github.com/magenta/magenta-realtime.git
cd magenta-realtime
uv pip install -e ".[mlx]"
C++ 앱 빌드를 시작하려면 다음 설정을 수행하세요:
# 종속성 설치
uv pip install "cmake<3.28"
...
전체 문서는 다음과 같습니다:
이전 기술 보고서(technical report)를 인용해 주십시오:
BibTeX:
(학술 논문 인용 정보)
제목: Live Music Models
저자: Antoine Caillon, Brian McWilliams, Cassie Tarakajian, Ian Simon, Ilaria Manco, Jesse Engel, Noah Constant, Pen Li, Timo I. Denk, Alberto Lalama, Andrea Agostinelli, Anna Huang, Ethan Manilow, George Brower, Hakan Erdogan, Heidi Lei, Itai Rolnick, Ivan Grishchenko, Manu Orsini, Matej Kastelic, Mauricio Zuluaga, Mauro Verzetti, Michael Dooley, Ondrej Skopek, Rafael Ferrer, Zalán Borsos, Aaron van den Oord, Douglas Eck, Eli Collins, Jason Baldridge, Tom Hume, Chris Donahue, Kehang Han, Adam Roberts.