Arm 기반 실시간 AI 사운드 생성: 창작의 자유를 위한 개인 도구

Arm 파트너 및 생태계 리드 Michael Gamble 글

소프트웨어 엔지니어이자 음악 프로듀서로서 저는 기술이 창의적 표현을 어떻게 확장할 수 있는지 항상 탐구해 왔습니다. 이러한 호기심이 최근에는 Arm 기반 CPU 와 오픈소스 생성형 AI 모델을 기반으로 하여 기기 내에서 직접 실행되는 개인 사운드 생성 앱을 개발하게 만들었습니다. 이 앱은 빠르고, 프라이빗하며, 간단한 프롬프트만으로 스튜디오 수준의 사운드를 초당 수 초 만에 생성할 수 있습니다.

이 프로젝트는 여러 세계의 최강점을 결합합니다:

• Stability AI 의 Stable Audio Open 모델 (Hugging Face 에서 소스) - PyTorch 와 TorchAudio 로 구동되는 빠른 효율적인 파이프라인 - Arm 기반 CPU에서 네이티브로 실행되는 빠른 효율적인 파이프라인 - Ableton Live와의 원활한 창작 핸디오프

Ableton Live 를 사용하여 음악 프로젝트에 깊이 몰입할 때, 저는 라이브러리나 사운드 팩을 파고들기 위해 워크플로우를 중단하고 싶지 않습니다. 제가 있는 곳에서 만나는 도구를 원했습니다 - 바로 흐름 속에서.

이제 저는 상상하는 소리를 간단히 설명할 수 있습니다 ("아날로그 베이스라인", "시네마틱 라이저", "로파이 스네어"), 그리고 초당 수 초 만에 생성된 .wav 파일이 Ableton 브라우저에 나타납니다. 거기서부터 저는 그것을 수정하거나, 루프를 만들거나, 악기로 변환할 수 있습니다.

각 소리는 고유합니다. 다른 누구도 제가 하는 것을 정확히 생성하지 못합니다. 이러한 개인 소유의 느낌은 제 창의성을 자극합니다.

이 사운드 생성기는 Arm 기반 CPU 기술을 사용하여 완전히 기기 내에서 실행됩니다 - GPU 없음, 클라우드 추론 없음, 지연 시간 없음. Arm 의 효율성과 성능당 와트 덕분에 앱은 다단계 확산 실행 중에도 반응성이 유지됩니다.

생성 엔진은 다음을 기반으로 구축되었습니다:

• Stability AI 의 Stable Audio Open 모델 (Hugging Face 를 통해 제공) - PyTorch와 TorchAudio를 사용하여 모델 추론 및 오디오 처리 - Arm CPU 성능을 위한 최적화된 멀티스레드 실행

Arm CPU 에서 성능을 극대화하기 위해 저는 전체 스레드 활용을 활성화했습니다:

torch.set_num_threads(os.cpu_count())

생성 횟수 동안 낮은 메모리 사용량을 유지하기 위해:

if gen_count % 3 == 0:
gc.collect()
...

속도와 효율성을 위한 튜닝된 핵심 생성 루프:

output = generate_diffusion_cond(
model,
steps=7, # 추론을 더 빠르게 하기 위해 감소된 단계 수
...

CPU 를 최적화하여 개발되었지만, 필요시 Metal (Apple Silicon) 또는 CUDA 에서 실행할 수도 있습니다:

device = "mps" # Apple Silicon
# device = "cuda" # NVIDIA
# device = "cpu" # Arm CPU (기본값)
...

도구는 Ableton Live 가 모니터링하는 프로젝트 폴더에 직접 .wav 파일을 출력합니다. 다음은 샘플 CLI 상호작용입니다:

Enter a prompt for generating audio:
Ambient texture
Enter a tempo for the audio:
...

저는 즉시 해당 파일이 Live 브라우저에서 나타나는 것을 볼 수 있습니다, 준비되어 배열, 변조, 변환에 사용됩니다.

이 프로젝트는 개인 프로토타입이지만 - 그것은 또한 콘텐츠 생성의 미래를 보여주는 창입니다. Arm CPU 에서 효율적인 기기 내 AI 추론을 통해 예술가 및 개발자는 다음을 할 수 있습니다:

• 클라우드 리소스를 기다리지 않고 창의적 흐름에 머무르세요
• 데이터 프라이버시와 출력의 완전한 소유권을 보장하세요
• AI 도구를 엣지 장치, DAW, 새로운 창작 인터페이스로 확장하세요

오픈소스 혁신과 효율적인 컴퓨팅이 만나게 되면: 모든 창작자에게 접근 가능한 실시간 생성력.

이 프로젝트가 가능하게 된 생태계를 탐구하세요: