AudioCraft는 오디오 생성에 대한 딥러닝 연구를 위한 PyTorch 라이브러리입니다. AudioCraft에는 고품질 오디오를 생성하는 두 가지 최첨단 AI 생성 모델인 AudioGen과 MusicGen의 추론(inference) 및 학습(training) 코드가 포함되어 있습니다.
AudioCraft는 Python 3.9와 PyTorch 2.1.0을 요구합니다. AudioCraft를 설치하려면 다음 명령어를 실행할 수 있습니다:
# xformers를 설치하기 전에, 특히 torch가 먼저 설치되었는지 확인하는 것이 가장 좋습니다.
# 이미 PyTorch가 설치되어 있다면 이 명령어는 실행하지 마세요.
python -m pip install 'torch==2.1.0'
...
또한 ffmpeg가 시스템 또는 Anaconda를 통해 설치되어 있는 것을 권장합니다:
sudo apt-get install ffmpeg
# 또는 Anaconda나 Miniconda를 사용하는 경우
conda install "ffmpeg<5" -c conda-forge
현재 AudioCraft에는 다음 모델들에 대한 학습 코드와 추론 코드가 포함되어 있습니다:
- MusicGen: 최첨단 제어형 텍스트-음악(text-to-music) 모델.
- AudioGen: 최첨단 텍스트-사운드(text-to-sound) 모델.
- EnCodec: 최첨단 고정밀 신경 오디오 코덱(neural audio codec).
- Multi Band Diffusion: 확산(diffusion)을 사용하는 EnCodec 호환 디코더.
- MAGNeT: 텍스트-음악 및 텍스트-사운드를 위한 최첨단 비자기회귀(non-autoregressive) 모델.
- AudioSeal: 최첨단 오디오 워터마킹(audio watermarking).
- MusicGen Style: 최첨단 텍스트-및-스타일-투-음악(text-and-style-to-music) 모델.
- JASCO: "코드, 멜로디 및 드럼 트랙에 조건화된 고품질 텍스트-음악 모델"
AudioCraft는 오디오 분야의 딥러닝 연구를 위한 PyTorch 구성 요소와 개발된 모델들의 학습 파이프라인을 포함하고 있습니다. AudioCraft 설계 원칙에 대한 일반적인 소개 및 자체 학습 파이프라인 개발 지침은 AudioCraft 학습 문서를 참조하십시오.
기존 작업을 재현하거나 개발된 학습 파이프라인을 사용하려면, 구성(configuration), 예제 그리드(example grids) 및 모델/작업별 정보와 FAQ를 제공하는 각 특정 모델의 지침을 참조하십시오.
AudioCraft에 대한 일부 API 문서를 제공합니다.
네! 저희는 EnCodec, MusicGen, Multi Band Diffusion 및 JASCO의 학습 코드를 제공합니다.
Hugging Face는 AudioCraft 모델을 특정 위치에 저장하며, 이 경로는 AUDIOCRAFT_CACHE_DIR 환경 변수를 설정하여 재정의할 수 있습니다. 다른 Hugging Face 모델의 캐시 위치를 변경하려면, Hugging Face Transformers 문서를 참조해 주십시오. 마지막으로, Demucs(예: musicgen-melody)에 의존하는 모델을 사용하고 Demucs의 다운로드 위치를 변경하려면, Torch Hub 문서를 참고하십시오.
- 이 저장소의 코드는 LICENSE 파일에서 확인할 수 있는 MIT 라이선스 하에 공개됩니다.
- 이 저장소의 모델 가중치는 LICENSE_weights 파일에서 확인할 수 있는 CC-BY-NC 4.0 라이선스 하에 공개됩니다.
AudioCraft의 일반적인 프레임워크를 언급할 때는 다음을 인용해 주십시오.
@inproceedings{copet2023simple,
title={Simple and Controllable Music Generation},
author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
...
특정 모델을 언급할 때는, 해당 모델별 README(예: ./docs/MUSICGEN.md, ./docs/AUDIOGEN.md 등)에 명시된 대로 인용해 주십시오.