라우팅 신호에서 선택적 재검토까지: MoE VLM에서의 시각적 재접지

Vision-language models (VLMs)는 대상 객체의 색상, 개수, 위치 또는 상태에 대한 질문에 답할 때, 해당 객체가 부재하더라도 잘못된 시각적 전제(false visual premises)를 수용할 수 있습니다. 우리는 이러한 신뢰성 필수 행동을 '대상 부재 접지 실패(target-absence grounding failure)'라고 부릅니다. 기존의 시각적 접지 탐지기들은 주로 생성된 응답, 은닉 상태(hidden states), 또는 불확실성 측정치에 의존합니다. 본 논문에서는 Mixture-of-Experts (MoE) VLM 내부 라우팅 결정(internal routing decisions)을 활용하여 생성이 이루어지기 전에 대상 부재를 탐지하고 선택적 교정을 안내하는 최초의 프레임워크를 제시합니다. 우리는 Qwen3-VL-30B-A3B-Instruct와 Gemma-4-26B-A4B-it에서 대상 토큰 라우팅 확률을 추출하고, 각 모델에 대해 별도의 L2-regularized 선형 탐지기(linear detector)를 훈련시키며, 그 예측값을 사용하여 대상 인지적 재검토 프롬프트(target-aware review prompt)를 선택적으로 호출합니다. 라우팅만을 사용했을 때, Qwen과 Gemma 탐지기는 GQA-Inpaint에서 각각 ROC-AUC 0.9988 및 0.9956을 달성했으며, 외부 OBER 데이터셋에서는 각각 0.8095와 0.7781을 유지했습니다. 결과로 얻은 라우팅 게이티드 정책(routing-gated policy)은 모델 가중치를 수정하지 않고도 GQA-Inpaint와 OBER에서 Qwen의 경우 +22.25%, +12.17%를, Gemma의 경우 +13.42%, +1.39%를 엔드투엔드 정확도(end-to-end accuracy) 향상시켰습니다. 추가 분석에 따르면, 이 신호는 대상 객체 토큰에 국한되어 있으며, 초기 MoE 레이어에서 나타나고, 부분적으로 대체 가능한 전문가들(partially substitutable experts) 전반에 걸쳐 분포합니다. 데이터셋 간의 임계값 이동(threshold shifts)은 재보정이 필요하지만, 오탐지(false-positive review)는 전반적으로 제한적인 피해를 야기하므로, 탐지기 임계값과 검토 프롬프트의 공동 선택을 통해 개입 위험을 제어할 수 있음을 시사합니다. 종합적으로, 우리는 라우팅 확률만으로도 시각적 인지에 대한 실행 가능한 정보(actionable information)를 보존하며, 이를 통해 MoE VLM이 이미 생성한 계산 결과가 저비용 탐지 및 선택적 시각 재접지를 지원할 수 있음을 보여줍니다.