EmbeddingGemma-2 (577M)를 MTEB 오디오 리더보드(MAEB)에서 랭크 #26에서 #1로 끌어올린 방법: 제로 트레이닝으로

모델 및 가중치: BrunoHays/embeddinggemma-2-nullspace-audio MAEB (Massive Audio Embedding Benchmark)는 오디오 및 텍스트-오디오 임베딩에 대한 주요 MTEB 리더보드 벤치마크이며, 현재 8B~9B 멀티모달 모델이 지배하고 있습니다. 저는 Google의 크기가 작은 google/embeddinggemma-2 (577M 파라미터, 768d 벡터)를 사용하여 MAEB 점수를 49.3%에서 54.4%로 (+5.1 포인트) 끌어올려, 단 하나의 가중치도 학습하지 않고 MAEB 오디오 전용 부문에서는 랭크 #26에서 #1로, 전체 MAEB에서는 랭크 #16에서 #1로 도약시켰습니다. 이 모든 추가 부분은 고정된 PCA 행렬을 담은 2.37 MB의 safetensors 파일입니다.

왜 이것이 로컬/엣지 환경에 중요한가: 577M 파라미터와 768d 벡터(9B Omni 모델보다 15배 작음)로, 노트북이나 엣지 장치에서 쉽게 실행됩니다. 표준 텍스트 정렬 오디오 모델은 말하는 단어를 텍스트와 일치시키는 데는 뛰어나지만, 최종 레이어에서 어떤 단어가 발화되었는지에 초점을 맞추고 소리가 어떻게 만들어졌는지(how the sound was made)를 놓치기 때문에 목소리, 감정 또는 사운드 유사성으로 오디오를 그룹화하는 것에는 매우 취약합니다. 고정된 오디오 인코더의 초기 레이어에서 특징을 추출함으로써, 이 모델은 기본 모델의 100개 이상의 언어 텍스트-오디오 검색 기능을 유지하면서도 오디오-대-오디오 작업(audio-to-audio tasks)을 개선했습니다:

• 비지도 음성/성별 클러스터링: 0.05% -> 63.1%
• 아티스트/노래 오디오-대-오디오 검색: 55.2% -> 93.8%
• 성악 감정 분류: 19.7% -> 40.2%

작동 방식: 초기 레이어는 여전히 음향 정보를 알고 있습니다: Speech representation work (Pasad et al.; Bouziane, Mdhaffar & Estève)에 따르면, 초기/중간 레이어는 최종 레이어에서 사라지는 화자, 피치 및 감정 특성을 유지합니다. EmbeddingGemma-2에서는 Layer 2와 Layer 6가 여전히 이러한 신호를 보유하고 있습니다.

768d 벡터 내의 256개 빈 방향: EmbeddingGemma-2의 텍스트 백본은 실제로는 512d이며, 마지막에 768 x 512 선형 행렬을 통해 768d로 투영됩니다. 이 과정에서 텍스트 벡터가 절대 건드리지 않는 256개의 직교 방향(null space)이 남게 됩니다.

PCA를 이용해 null space 채우기: 저는 Layer 2와 Layer 6를 PCA를 사용하여 256차원으로 압축했습니다 (1,400개의 외부 오디오 클립으로 적합). 그리고 이들을 그 256개의 사용되지 않은 방향에 주입했습니다.

주의사항: 재학습이 없기 때문에, 오디오 임베딩은 모든 768 차원(512/256/128로 마트료시카 절단 불가)을 필요로 하며, 가중치 없는 음향 특징을 추가하는 것은 순수하게 발화 의도에 초점을 맞춘 일부 작업에 손상을 입힙니다 (예: MInDS14가 97.6%에서 88.3%로 하락). 이는 제로 트레이닝 상태에서도 오늘날의 과적합된 모델 안에 얼마나 많은 활용되지 않은 신호가 존재하는지 보여줍니다. 전체 분석 및 사용법은 Hugging Face 모델 카드에 있습니다. /u/JeanMichelRanu 제출 [링크] [댓글]