대규모 오디오-언어 모델(LALMs)은 발화 내용에 대해서는 강력한 성능을 보이지만, 화자의 감정 같은 세밀하고 비의미적인 음성 속성에서는 종종 성능이 떨어집니다. 재학습 비용 없이 이를 개선하려면 효과적인 추론 시간 개입이 필요하지만, 기존 방법들은 오디오 인코더 이후에서만 개입하며 상대적으로 거친(coarse) 해상도에서 작동합니다.

음향 정보가 파형으로부터 처음 추출되는 곳인 인코더 자체는, 특히 개별 뉴런 수준에서는 아직 충분히 탐구되지 않은 영역입니다. 우리는 IAAN(Identifying and Amplifying Acoustic Neurons), 즉 음향 뉴런 식별 및 증폭이라는 훈련 불필요(training-free)하고 레이블 불필요(label-free)한 방법을 소개합니다. 이 방법은 오디오 인코더의 각 피드포워드 뉴런을, 실제 파형에서의 활성화 값과 실제 오디오의 음향 정보가 부족한 노이즈 참조에서의 활성화 값을 대조하여 점수를 매깁니다. IAAN은 추론 시 가장 높은 점수를 받은 소수의 뉴런들을 증폭합니다.

10가지 비의미적 음성 속성에 걸쳐, IAAN은 Audio-Flamingo-3에서 평균 정확도를 25.7 포인트 향상시키고, Qwen2.5-Omni에서 21.4 포인트, Kimi-Audio에서 9.7 포인트를 향상시킵니다. 또한 음향 증거를 우선하도록 명시적으로 미세 조정된 모델에서도 성능을 개선합니다. 통제된 비교에서 볼 때, 인코더 위치와 뉴런 수준의 선택성이 이러한 성능 향상에 필수적임이 입증되었습니다. 인코더 이후, 디코딩 측이나 언어 모델 내부에서 개입하는 것은 거의 또는 전혀 개선 효과를 주지 못하거나 심지어 정확도를 저하시킵니다. 또한 이 개선은 단순히 증폭되는 뉴런의 수에 의존하는 것이 아니라 어떤 특정 뉴런이 증폭되느냐에 따라 달라지며, 이는 IAAN의 음향 점수가 중요한 뉴런들을 식별하는 데 성공했음을 확인시켜 줍니다.

이러한 결과들은 오디오 인코더 내부의 작고 정밀하게 목표화된 개입이 LALMs의 음향 이해도를 강화하는 효과적이고 아직 충분히 활용되지 않은 방법임을 보여주며, 뉴런 수준 접근을 통해 음향 인식을 개선하는 추론 시간 방법론에 새로운 방향을 열어줍니다.