비전-언어 모델(VLMs)은 답변이 자체 은닉 상태에서 디코딩될 수 있음에도 불구하고, 두 이미지 간의 점이나 객체를 일치시키는 데 종종 실패합니다. 우리는 Qwen3-VL (2B-32B), InternVL3.5-8B, Gemma-3-12B 모델을 대상으로 합성 모양 일치(synthetic shape matching), 동일 인스턴스 점 대응(HPatches), 그리고 의미론적 대응(SPair-71k)에서 이러한 실패를 추적했으며, 두 가지 뚜렷한 실패 지점을 발견했습니다. 하나는 비교를 수행하는 작은 어텐션 헤드 세트이며, 다른 하나는 0.02%의 파라미터만 건드리는 복구 방법입니다.
두 가지 실패 지점: 정확히 동일한 사본들이 비교되지만 출력되지 않습니다. 답변 위치 프로브(answer-position probe)는 이름 붙일 수 있는 모양과 이름 붙일 수 없는 모양 모두에서 보정된 출력을 15점에서 25점까지 초과하며, 이 프로브의 방향을 따라 조향해도 무작위 방향보다 더 많은 답변을 움직이지 못합니다. 의미론적 대응은 시각 토큰에 존재하지만 결코 답변으로 이어지지 않습니다.
한 가지 경로: 질량(mass)이 보존된 채 1632개의 헤드에서 교차 이미지 어텐션(cross-image attention)을 재분배하는 것이 합성 정확도와 HPatches 정확도를 각각 1722점, 1532점만큼 제거하며, 이는 무작위 또는 어텐션 매칭된 헤드의 최대 7점과 비교됩니다. 학습이 스스로 찾아낸 한 레버리지: 이들 헤드만의 쿼리 및 키 투영(query and key projections)을 학습하는 것만으로 SPair-71k 정확도를 28.3점 (Qwen3-VL-8B) 및 25.1점 (InternVL3.5-8B)만큼 높였으며, 이는 레이어 매칭된 헤드와 어텐션 매칭된 헤드를 모두 능가하고 HPatches 및 BLINK로 전이됩니다. 제약 없는 모든 레이어 어댑터(all-layer adapter)는 그 이득의 2151%를 동일한 헤드의 어텐션을 통해 전달하는데, 이는 무작위 헤드의 최대 7%와 비교되며, 가중치를 변경하는 것이 아니라 그것들이 읽는 내용(효과의 83~86%)을 변화시킴으로써 이를 수행합니다. 모든 결정 규칙은 실행 전에 고정되었으며, 보고된 모든 수치는 독립적인 검증 스크립트에 의해 재계산되었습니다.