Senses Wide Shut: Omnimodal LLM에서의 표현-행동 간극 (Representation-Action Gap)

옴니모달 거대 언어 모델 (Omnimodal Large Language Model)이 텍스트 전제가 실제로 보고 듣는 것과 모순되는 질문을 받았을 때, 그 실패의 원인은 지각 (Perception)에 있을까요, 아니면 행동 (Action)에 있을까요? 최근의 옴니모달 모델들은 비디오, 오디오, 텍스트를 공동으로 처리하는 지각 기반 에이전트 (Perception-grounded agents)로 자리매김하고 있지만, 가장 기본적인 형태의 그라운딩 (Grounding), 즉 모델 자신의 감각 입력과 충돌하는 텍스트 주장을 포착하는 능력은 아직 테스트되지 않은 상태로 남아 있습니다.

우리는 IMAVB를 소개합니다. 이는 타겟 모달리티 (Target modality: 비전, 오디오)와 전제 조건 (Premise condition: 표준, 오도)을 교차하는 2x2 설계로 구성된 500개 클립 규모의 큐레이션된 장편 영화 벤치마크로, 이를 통해 일반적인 멀티모달 이해 (Multimodal comprehension)와 분리하여 충돌 탐지 (Conflict detection) 능력을 측정할 수 있습니다. 8개의 오픈 소스 옴니모달 LLM과 Gemini 3.1 Pro를 대상으로 조사한 결과, 우리는 '표현-행동 간극 (Representation-Action Gap)'을 기록했습니다. 즉, 동일한 모델들이 출력에서 거짓 주장을 거의 거부하지 못함에도 불구하고, 은닉 상태 (Hidden states)에는 전제-지각 불일치가 안정적으로 인코딩되어 있다는 사실을 확인했습니다.

행동 측면에서 모델들은 두 가지 실패 모드에 빠집니다. 첫째는 오도된 질문을 마치 거짓 전제가 사실인 것처럼 답변하는 '과소 거부 (Under-rejection)'이며, 둘째는 더 자주 거부하기는 하지만 표준 질문까지 거부하여 일반적인 이해 정확도를 희생하는 '과잉 거부 (Over-rejection)'입니다. 이 간극은 모달리티 비대칭적이며 (오디오 그라운딩이 비전보다 성능이 낮음), 7가지 변형에 대해 프롬프트 저항성 (Prompt-resistant)을 보입니다. 초기 진단적 개입으로서, 프로브 가이드 로짓 조정 (Probe-guided logit adjustment, PGLA)은 인코딩된 불일치 신호를 디코딩 (Decoding) 과정에 다시 주입하여 거부 행동을 일관되게 개선합니다. 종합적으로, 이러한 결과들은 옴니모달 그라운딩의 병목 현상이 지각이 아닌 번역 (Translation) 단계에 있음을 시사합니다.