GazeVLM: 내부 어텐션 제어를 통한 멀티모달 추론을 위한 능동 시각

요약

GazeVLM은 인간의 능동 시각(active vision) 원리를 모방하여, 기존 VLM의 수동적이고 정적인 정보 처리 방식을 개선한 멀티모달 아키텍처입니다. 이 모델은 어텐션 자원 배포에 대한 메타인지적 제어를 추론 루프 자체에 내재화하며, 시선 토큰(<LOOK>)을 자율적으로 생성하도록 함으로써 공간적이고 목표 지향적인 추론 능력을 강화합니다. 그 결과, 기존 최신 VLM 대비 높은 해상도의 멀티모달 추론 성능 향상을 입증했습니다.

핵심 포인트

• GazeVLM은 인간의 '능동 시각' 메커니즘을 모방하여 시각 정보 처리를 개선함.
• 기존 VLM이 겪는 공간적 추론 희석 및 언어적 환각 문제를 해결하는 것을 목표로 함.
• 모델 아키텍처에 어텐션 자원 배포를 위한 '메타인지적 감독' 기능을 내재화함.
• 시선 토큰(<LOOK>)을 통해 모델이 스스로 어디에 집중할지 결정하도록 만듦으로써 추론 능력을 향상시킴.
• HRBench-4k 및 HRBench-8k 등에서 기존 최신 VLM 대비 높은 성능 우위를 입증함.