Senses Wide Shut: Omnimodal LLM에서의 표현-행동 간극 (Representation-Action Gap)

요약

본 논문은 옴니모달 LLM이 감각 입력과 모순되는 텍스트 주장을 포착하는 '충돌 탐지' 능력을 측정하기 위해 IMAVB라는 새로운 영화 기반 벤치마크를 제안했습니다. 연구 결과, 모델들은 출력에서 거짓 주장을 거부하지 못하는 경향을 보였으며, 이는 내부 은닉 상태에는 전제-지각 불일치가 안정적으로 인코딩되어 있음을 보여주는 '표현-행동 간극(Representation-Action Gap)'이 존재함을 입증했습니다. 이 간극은 모델의 번역 단계에 병목 현상을 야기하며, 이를 개선하기 위한 초기 개입으로 Probe-guided logit adjustment (PGLA)가 제안되었습니다.

핵심 포인트

• 옴니모달 LLM의 충돌 탐지 능력 측정을 위해 IMAVB라는 새로운 영화 기반 벤치마크를 개발함.
• 모델들은 내부 은닉 상태에는 전제-지각 불일치를 인코딩하지만, 실제 출력에서는 이를 거부하지 못하는 '표현-행동 간극'이 관찰됨.
• 실패 모드는 오도된 질문을 사실처럼 받아들이는 '과소 거부(Under-rejection)'와 표준 질문까지 거부하는 '과잉 거부(Over-rejection)'로 나뉨.
• 이러한 그라운딩의 병목 현상은 지각 단계가 아닌, 인코딩된 불일치 신호를 디코딩하는 '번역' 단계에 있음을 시사함.
• Probe-guided logit adjustment (PGLA)와 같은 개입 기법을 통해 거부 행동을 개선할 수 있음.