태스크 성능을 넘어: 음성 특징을 통한 생물 음향 임베딩 (bioacoustic embeddings) 해독

사전 학습된 오디오 임베딩 (Pretrained audio embeddings)은 생물 음향학 (bioacoustics) 분야의 표준이지만, 이러한 모델들이 어떤 음향적 특징 (acoustic features)을 인코딩하는지, 또는 특정 태스크에 어떤 특징이 유용한지에 대해서는 알려진 바가 거의 없습니다. 이는 투명성을 저해하고 희귀종이나 데이터가 부족한 도메인으로의 확장을 제한합니다. 본 연구에서는 생물 음향 표현 (bioacoustic representations)에 인코딩된 음성 유사 특징 (speech-like features)이 무엇인지 밝혀냅니다. 6개의 분류군 (taxonomic groups)에 걸쳐 88개의 eGeMAPS 특징을 사용하여, 선형 및 비선형 회귀 프로브 (linear and nonlinear regression probes)를 적용함으로써 각 모델이 어떤 음향적 속성을 포착하는지 정량화합니다. 결과는 "공짜 점심은 없다 (no free lunch)" 패턴을 확인시켜 줍니다. 즉, 단일 모델이 전체 특징 공간 (feature space)을 모두 포착하지는 못합니다. 결합된 임베딩 (concatenated embedding)이 가장 높은 성능을 달성하였으며, 이는 모델 간에 상호 보완적인 음향 공간 커버리지를 가짐을 시사합니다. 음량 특징 (Loudness features)이 가장 잘 인코딩되는 반면 ($R^2 = 0.76$), 기본 주파수 (F0)는 복원이 가장 어렵습니다 ($R^2 = 0.33$). 복원 가능성 (recoverability)을 종별 특징 중요도 (per-species feature salience, NMI)와 교차 참조함으로써, 우리는 생물 음향학을 위한 데이터 기반 모델 선택 가이드를 도출합니다.