AI가 단순히 오디오를 생성하는 것을 넘어, 진정으로 편집할 수 있을까요? 🎧

Tencent Hy는 SJTU, SII, NTU, TJU, ZODA, PKU, FDU 및 기타 협력 기관들과 협력하여 MMAE를 소개합니다.

MMAE--대규모 멀티태스크 오디오 편집 벤치마크 (A Massive Multitask Audio Editing Benchmark)는 음성 및 오디오 "Banana🍌"를 위한 최초의 종합 평가 벤치마크입니다.

단순히 AI에게 오디오를 "생성"하도록 요구하는 대신, 기존 오디오 클립을 이해하고 자연어 지침에 따라 정밀하게 수정할 것—즉, 나머지는 그대로 둔 채 변경이 필요한 부분만 수정할 것—을 요구합니다.

현재 모델들은 정확 일치율 (Exact Match Rate, EMR)이 5% 미만으로 나타나며, 신뢰할 수 있는 오디오 편집 분야에 큰 격차가 있음을 보여줍니다.

MMAE 포함 사항:
✅ 실제 시나리오에서 추출한 2,000개의 고충실도 (high-fidelity) 샘플
✅ 17,741개의 세밀한 루브릭 (rubric) 평가 항목
✅ 소리, 음악, 음성 및 이들의 혼합을 아우르는 7가지 모달리티 (modality) 설정
✅ 기초적인 수정부터 멀티홉 추론 (multi-hop reasoning) 및 다회차 편집 (multi-round editing)에 이르는 6단계 작업 복잡도
✅ 로컬 및 글로벌 입도 (granularity)에 걸친 8가지 작업 유형

사용 방법:
arXiv: https://t.co/TM81ahH7PZ
GitHub: https://t.co/UR1dRUKqMD
HuggingFace: https://t.co/1MHR1n3LJn
Demo: https://t.co/tz2TVHaCk8