텍스트 따르기를 넘어서: 오디오-언어 모델(ALM)에서의 복구 가능한 중재 역전 현상

오디오-언어 모델 (Audio-language models, ALMs)은 오디오 증거가 명확할 때조차 오디오와 충돌하는 텍스트를 따르는 경우가 빈번합니다. 이는 다음과 같은 근본적인 질문을 던집니다: 오디오가 지원하는 정답을 모델이 사용할 수 없는 것인가, 아니면 정답이 표현되어 있음에도 충돌하는 텍스트에 의해 무시되는 것인가? 우리는 오디오는 고정하고 충돌하는 텍스트만 제거하여 모델 선호도의 변화를 측정하는 '동일 오디오 반사실적 (same-audio counterfactual)' 기법을 사용하여 이 질문을 조사합니다. 5개의 ALM과 4개의 충돌 태스크를 대상으로 분석한 결과, 충돌 샘플의 64.1%에서 부호 반전 (sign flip)이 나타났습니다. 즉, 동일 오디오 분기 (same-audio branch)는 오디오가 지원하는 정답을 선호하는 반면, 결합 분기 (joint branch)는 텍스트가 지원하는 정답을 선호합니다. 이러한 패턴은 관련 오디오 증거가 인코딩(encoded)은 되어 있으나 중재 (arbitration) 과정에서 손실됨을 시사합니다. 활성화 패칭 (Activation patching)을 통해 이러한 역전 현상이 정답 위치 계산 (answer-position computation) 단계에서 발생함을 국소화하였으며, 패칭 효과는 출력 후보 점수 차이와 밀접하게 일치했습니다 (Spearman rho=0.93). 이러한 진단 도구를 활용하여, 우리는 결합 점수와 동일 오디오 점수 사이를 보간하는 훈련이 필요 없는 디코딩 규칙인 Gated Audio Counterfactual Logit Correction (GACL)을 제안합니다. 엄격한 5 pp 충실도 저하 (faithfulness-drop) 예산 하에서, GACL은 가장 우수한 대조 학습 베이스라인 (contrastive baseline) 대비 nAUC를 17.8포인트 개선하였으며, 재조정 없이도 시각-텍스트 중재 (vision-text arbitration)로 전이되어 최대 +40.5 pp의 성능 향상을 보였습니다.