참조 격차 진단: 멀티모달 추론에서 시각적 비계가 해결할 수 있는 것과 그렇지 않은 것

요약

MLLM은 시각적 콘텐츠 인식에 어려움이 없더라도 다단계 추론 과정에서 실패할 수 있습니다. 본 연구는 이러한 문제를 지각(perception)의 문제가 아닌, 언어를 특정 시각적 개체나 위치에 연결하는 '참조 격차'로 진단합니다. 새로운 벤치마크 ReGap-Bench를 통해 과제에 맞는 외부 참조(scaffolding)가 추론 정확도를 최대 25%까지 향상시킬 수 있음을 입증했습니다.

핵심 포인트

• MLLM의 추론 실패는 지각 문제가 아닌 '참조 격차' 때문으로 진단됨.
• 참조 격차란 언어를 관련 시각적 개체나 위치에 연결하는 데 실패하는 현상임.
• ReGap-Bench 결과, 과제 적합한 참조가 정확도를 최대 25%까지 향상시킴을 입증함.
• 이는 모델 재훈련 없이(training-free) 멀티모달 추론을 개선할 수 있는 기술임을 시사함.