미분 가능한 오디오 그래프를 실시간 DSP로 컴파일하기
요약
훈련된 미분 가능한 오디오 프로세서를 실시간 DSP 코드로 자동 변환하는 컴파일러 ADAC를 소개합니다. 모델을 FAUST 코드로 컴파일하여 연구 프로토타입을 실제 프로덕션 도구로 손쉽게 배포할 수 있게 합니다.
핵심 포인트
- 미분 가능한 모델을 프레임워크 독립적인 중간 표현으로 변환
- 소스 모델과 일치하는 효율적인 FAUST 코드 생성
- 실시간 플러그인 교체를 통한 최적화 루프 지원
- 빌드 전 안정성 인증서를 통한 프로세서 안정성 보장
미분 가능한 오디오 프로세서 (Differentiable audio processors)는 관습적으로 머신러닝 (Machine-learning) 프레임워크에서 설계되고 최적화되지만, 이를 실시간 오디오 효과로 배포하려면 여전히 전용 디지털 신호 처리 (Digital signal processing, DSP) 언어로 비자동적인 구현 과정이 필요한 경우가 많습니다. 이러한 변환 과정은 오류가 발생하기 쉽고, 까다로운 검증 과정을 요구하며, 연구 프로토타입을 실제 사용 가능한 프로덕션 도구로부터 분리시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 훈련된 모델을 프레임워크에 구애받지 않는 중간 표현 (Intermediate representation)으로 낮추고, 직접 경로 (Direct paths)를 포함하여 임펄스 응답 (Impulse response)이 소스 모델과 부동 소수점 연산 노이즈 범위 내에서 일치하는 효율적인 FAUST 코드를 생성하는 컴파일러인 ADAC를 선보입니다. 최적화 루프 (Optimisation loop)는 매 그래디언트 단계 (Gradient step) 이후 실행 중인 플러그인 내의 모델을 교체함으로써 소리로 직접 확인할 수 있습니다. 내보내진 프로세서는 안정성을 유지하는 작은 매크로 컨트롤 (Macro-controls) 세트를 포함합니다. 배포된 파라미터로부터 계산된 안정성 인증서 (Stability certificate)는 플러그인이 빌드되기 전에 확인됩니다. 데모에서는 피드백 지연 네트워크 (Feedback delay network)를 훈련하여 작동하는 플러그인으로 내보내는 과정을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기