본문으로 건너뛰기
arXiv논문2026. 11. 19. 07:00
보였지만 말해지지 않은: 비전-언어 모델에서의 교차 이미지 비교 위치 파악 및 복구 대표 이미지

보였지만 말해지지 않은: 비전-언어 모델에서의 교차 이미지 비교 위치 파악 및 복구

원문 발행 2026. 11. 17. 03:25원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

본 논문은 VLM이 두 이미지 간의 객체나 점을 일치시키는 데 실패하는 현상을 분석하고, 그 원인을 규명합니다. 연구진은 비교 과정에서 발생하는 어텐션 헤드의 결함과 이를 보정할 수 있는 복구 방법을 제시했습니다. 특히 교차 이미지 어텐션을 여러 헤드에 재분배하거나 특정 Q/K 투영을 학습시키는 것이 의미론적 대응 정확도를 크게 향상시켰음을 입증합니다.

핵심 포인트

  • VLM은 두 이미지 간의 점 일치에 실패하는 구조적 결함이 발견됨.
  • 교차 이미지 어텐션을 여러 헤드에 재분배하여 성능을 개선할 수 있음.
  • 특정 헤드의 Q/K 투영 학습만으로 의미론적 대응 정확도가 크게 향상됨.
  • 제시된 모든 결과는 독립적인 검증 스크립트를 통해 재계산되었음.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
1

댓글

0