[연구] 중간 Conformer 레이어를 PCA로 축소하여 256차원 null space를 채움으로써 EmbeddingGemma-2

모델 및 가중치: BrunoHays/embeddinggemma-2-nullspace-audio

저는 MTEB 리더보드 상의 30개 태스크 오디오 벤치마크인 MAEB에 대한 google/embeddinggemma-2 (577M) 실험 결과를 공유하고자 합니다. 모델의 최종 투영 행렬(projection matrix)의 사용되지 않은 null space에 중간 Conformer 레이어를 PCA만 사용하여 투영함으로써, 모델의 macro 점수는 49.3%에서 54.4%로 급증했습니다 (+5.1 포인트). 이는 MAEB 오디오 전용 부문에서는 순위 #26에서 #1로, 전체 MAEB에서는 #16에서 #1로 올라가며, 8B~9B 규모의 멀티모달 모델들을 능가하는 성과입니다.

1. 텍스트 정렬형 오디오 인코더에서의 마지막 레이어 필터링
MAEB 리더보드 전반에 걸쳐, LLM(대규모 언어 모델) 기반의 Omni 임베더들은 다국어 텍스트-오디오 검색에서 9599%의 점수를 기록하지만, 비지도 오디오 클러스터링에서는 16%로 떨어지며, 음성 감정(CREMA-D) 분류에서는 약 20%에 머무릅니다. 오디오 인코더를 텍스트 LLM에 정렬하면 최종 레이어가 필터링됩니다: 어휘적 내용(무엇이 말해졌는지)은 유지되는 반면, 준언어적 및 음향 특성(음색, 피치, 감정 등)은 폐기됩니다.

2. 12개 Conformer 레이어 프로빙(Probing)
레이어별 음성 연구들(Pasad et al.; Bouziane, Mdhaffar & Estève)에 따르면, 화자, 운율적, 의미론적 속성은 음성 인코더 내부의 서로 다른 깊이에서 최고치를 보입니다. embeddinggemma-2의 12개 Conformer 레이어를 모두 프로빙한 결과도 이를 확인했습니다: Layer 2 (mean + std 풀링): VoxPopuli 성별 클러스터링 점수가 최종 출력(0.05%)에서 Layer 3(66.6%) / Layer 2(65% 이상)로 증가했으며, IEMOCAP 성별 분류는 66.4%에서 83.0%로 상승했습니다. Layer 6 (mean 풀링): CREMA-D 감정 분류 점수가 19.7%에서 39.5%로 두 배가 되었습니다.

3. EmbeddingGemma-2가 256차원 null space를 갖는 이유
embeddinggemma-2에서 텍스트 백본(text backbone)의 은닉 크기(hidden size)는 512이며, 최종 투영 행렬 W는 그 뒤에 활성화 함수 없이 768 x 512 형태를 가집니다:

• 512차원 텍스트 부분 공간: W가 512차원에서 768차원으로 선형적으로 매핑하기 때문에, 모든 텍스트 벡터는 512차원 부분 공간 내에 존재합니다.
• 256차원 null space: W의 SVD(특이값 분해)를 수행하면, 텍스트 벡터가 절대 사용하지 않는 나머지 256개의 직교 방향(null space)을 얻게 됩니다.

텍스트 간섭 없음(Zero text interference): 이 256개 방향으로 주입된 모든 오디오 벡터는 모든 텍스트 벡터와 영점 내적(zero dot product)을 가집니다.

4. 제로 트레이닝 PCA 주입: 저는 PCA를 사용하여 Layer 2와 Layer 6을 256차원으로 압축했습니다 (MAEB/MSEB 데이터가 없는 4개의 외부 오디오 데이터셋의 1,400개 클립으로 적합). 그리고 정규화하기 전에 이를 256차원 null space에 주입했습니다.

• 텍스트 임베딩(Text embeddings): 비트 단위로 변경되지 않았습니다.
• 텍스트-오디오 검색 (FLEURS, CommonVoice, Google SVQ의 100개 이상 언어): 0.05 포인트 이내로 변동이 없습니다.
• 오디오-오디오 작업: 성별 클러스터링은 0.05%에서 63.1%로 증가했고, 아티스트 검색은 55.2%에서 93.8%로, 감정(emotion)은 19.7%에서 40.2%로, 환경음(environmental sounds)은 38.8%에서 56.3%로 증가했습니다.

5. 주의사항(Caveats): 오디오에 대한 마트료시카(Matryoshka)는 불가능합니다. 재학습이 없기 때문에 직교성(orthogonality)을 유지하려면 모든 768차원이 필요하며, 따라서 512/256/128 절단 옵션을 사용할 수 없습니다.

화자 의도(Spoken-intent) 트레이드오프: 고정된 음향 특징을 추가하면 정규화 후 512차원 의미론적 구성 요소가 약간 축소되어, 화자의 목소리를 무시해야 하는 오디오-오디오 작업에 지장을 줍니다 (spoken topic classification SIBFLEURS는 57.2%에서 21.3%로 하락했고, spoken intent MInDS14는 97.6%에서 88.3%로 하락했습니다).

그럼에도 불구하고, 이는 제로 트레이닝만으로도 과훈련된 파운데이션 모델(foundation models)에서 얼마나 많은 미활용 신호가 추출될 수 있는지 보여줍니다. 실제 훈련을 $U_{ ext{perp}}$에 제한한다면, 우리는 훨씬 더 나아갈 수 있다고 확신합니다. 전체 작업별 결과 및 세부 사항은 Hugging Face 모델 카드에 있습니다. 제출자: /u/JeanMichelRanu [링크] [댓글]