Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
DEMON은 ACEStep 1.5를 기반으로 한 실시간 오디오 생성 엔진으로, StreamDiffusion 아키텍처를 활용해 음악적 노이즈를 오케스트레이션합니다. VAE 증류와 TensorRT 최적화를 통해 악기처럼 실시간 리믹싱이 가능한 수준의 빠른 반응성을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/StableDiffusion의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기안녕,
저는 Ryan입니다, 여러분을 만나게 되어 반갑습니다. 저는 한동안 오디오 반응형 Comfy 노드, Comfy 내 ACEStep 지원 확장 등 오픈 소스 생성형 오디오(generative audio) 관련 작업에 기여해 왔습니다. 제가 몇 달 동안 작업해 온 새로운 오디오 프로젝트를 방금 오픈 소스로 공개했으며, 여러분께 소개해 드리고 싶습니다.
이것은 무엇인가
DEMON: Diffusion Engine for Musical Orchestrated Noise
이것은 이미지를 대신해 오디오를 사용하고, Stable Diffusion 대신 ACEStep 1.5를 사용하는 StreamDiffusion입니다. 악기처럼 연주하고 거의 실시간(near real-time)으로 리믹스할 수 있을 만큼 반응성이 뛰어납니다.
또한 ACEStep VAE를 증류(distilled)했습니다. 약간의 품질을 희생하는 대신 더 빠릅니다.
또한 ACEStep 1.5 및 1.5XL을 위해 약 200개의 lora/dora를 학습시켰습니다. 이것들은 5개 또는 10개 정도씩 묶음으로 출시할 예정입니다.
이것을 만든 이유
두 가지 이유가 있습니다:
몇 가지 수치
여기서 언급하는 수치는 30/4090으로 별도 표기되지 않는 한 5090 기준입니다. 또한, 수치는 TensorRT를 사용한 것이지만, eager/torch compile 백엔드도 지원됩니다.
처리량 (Throughput):
반응성 (Responsiveness): 처리량과 파라미터 업데이트 지연 시간(latency) 모두의 함수이며, 이는 링 버퍼(ringbuffer) 깊이로 조정 가능합니다:
| 깊이 (Depth) | 틱 (Tick, ms) | 완료 간격 (Completion interval, ms) | 초당 생성 (Gens/sec) | 프롬프트 첫 효과 (Prompt first-effect, ms) |
|---|---|---|---|---|
| 1 | 14.0 | 112.0 | 8.9 | 112 ms |
| 2 | 24.3 | 97.2 | 10.3 | 219 ms |
| 4 | 42.8 | 88.5 | 11.3 | 471 ms |
| 8 | 81.1 | 81.1 | 12.3 | 649 ms |
단계별(per-step)로 참조되는 파라미터를 사용할 경우, 첫 효과(first-effect)는 모든 깊이에서 약 1틱입니다.
몇 가지 런타임 기능
기술적 구현 방식 (How it is)
몇 가지 제한 사항 (Some limitations)
데모 앱을 제작하고 지원, 디버깅, 테스트를 도와준 Daydream 팀에게 큰 감사를 전합니다.
전체 세부 사항은 프로젝트 페이지를 통해 확인할 수 있는 기술 문서를 참조해 주세요.
링크 (Links)
제 YouTube (DEMON 튜토리얼):