Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 오디오-언어 모델(ALMs)이 국소적인 사운드 이벤트 편집에 어떻게 반응하는지 분석합니다. 동일 클래스 대체는 정확한 답변을 유지하지만, 다른 클래스 대체는 49.7%에서 60.9% 포인트 더 많은 답변 변화를 유발함을 실험적으로 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기오디오-언어 모델(audio-language models)의 경우, 국소적인 사운드 이벤트 편집 후 발생하는 답변 변화는 해당 이벤트 클래스에 대한 반응, 파형 재작성(waveform rewriting)에 대한 민감도, 또는 둘 다를 반영할 수 있다. 우리는 질의된 이벤트에 대해 매칭된 동일 클래스(same-class) 대체와 다른 클래스(different-class) 대체를 비교한다. 둘 다 동일한 구간(interval), 레벨 추정치(level estimate), 도너 피팅(donor fitting), 그리고 크로스페이드(crossfade)를 사용하지만, 동일 클래스 대체는 정확한 답변을 유지한다.
총 600개의 합성 사운드스케이프(synthetic soundscapes)와 두 가지 아키텍처 계열의 세 모델에 걸쳐, 다른 클래스 대체는 동일 클래스 대체보다 49.7%에서 60.9% 포인트 더 많은 답변 변화를 생성한다. 동일 클래스 정확도는 원래 정확도 대비 5.2% 포인트 이내로 유지된다.
원래 답변과 동일 클래스 답변이 모두 정확한 시도들 중에서, 삽입된 클래스에 대한 사운드스케이프 가중 선택적 정확도는 73.7%에서 81.9%이며, 이는 각 사운드스케이프 내의 적격 시도를 평균화하고 이후 적격 사운드스케이프를 균등하게 가중 처리한 결과이다. 이 프로토콜은 모델 답변이 이벤트 클래스의 국소적 변화에 어떻게 반응하는지 테스트한다.