추상 시각 추론의 병목 현상: 기호적 접지(Symbolic Grounding) 분석

요약

본 연구는 Vision-Language Models (VLMs)이 Bongard와 같은 추상 시각 추론 벤치마크에서 실패하는 근본적인 원인을 진단합니다. 단순히 추론 능력의 문제인지, 아니면 이미지 표현(Representation) 자체에 병목 현상이 있는지를 탐구했습니다. 연구진은 기존의 End-to-End VLM을 raw 이미지와 함께 사용하거나, 해당 이미지를 기반으로 생성된 기호적 입력(symbolic inputs)과 함께 사용하는 방식으로 비교 분석했습니다. 그 결과, LLM이 기호적 입력을 통해 Free-form 문제에서

핵심 포인트

• 기존 End-to-End VLM은 Bongard-LOGO와 같은 추상 시각 추론 벤치마크에서 낮은 성능을 보이며, 이는 표현(Representation)의 병목 현상을 시사합니다.
• 연구진은 'Componential--Grammatical (C--G)' 패러다임을 도입하여 Bongard-LOGO를 LOGO 스타일 액션 프로그램 기반의 기호적 추론 과제로 재구성했습니다.
• LLM이 이 기호적 입력(symbolic inputs)을 활용했을 때 Free-form 문제에서 90%대 중반의 높은 정확도를 달성하며, 이는 기존 시각 모델 대비 현저한 성능 향상을 보여줍니다.
• 입력 형식, 명시적 개념 프롬프트 등 여러 요소를 제거한 분석 결과, 추상 시각 추론에서의 핵심 병목은 픽셀(pixels)에서 기호적 구조(symbolic structure)로의 전환에 있음을 입증했습니다.