추상 시각 추론의 병목 현상: 기호적 접지(Symbolic Grounding) 분석

Vision-Language Models (VLMs)가 Bongard와 같은 복잡하고 추상적인 시각 추론 과제에서 낮은 성능을 보이는 현상은 오랫동안 연구되어 온 문제입니다. 이 실패가 단순히 모델의 '추론(Reasoning)' 능력 부족 때문인지, 아니면 이미지를 효과적으로 표현하는 '표현(Representation)' 단계에 근본적인 병목이 존재하는지에 대한 의문이 제기되었습니다.

본 논문은 이러한 질문에 답하기 위해 Bongard-LOGO라는 합성 벤치마크를 활용했습니다. 이 벤치마크는 실제 생성 프로그램(ground-truth generative programs)을 기반으로 추상적 개념 학습 과정을 시뮬레이션합니다. 연구의 핵심 방법론은 End-to-End VLM이 원본 이미지(raw images)와 함께 작동하는 방식과, 해당 이미지를 바탕으로 추출된 '기호적 입력(symbolic inputs)'을 LLM에 제공했을 때를 비교하는 것입니다.

연구진은 기호적 입력을 실질적인 멀티모달 아키텍처로 사용하는 것이 아니라, 진단 도구(diagnostic probe)로서 활용했습니다. 이를 위해 기존의 Bongard-LOGO 과제를 'Componential--Grammatical (C--G)' 패러다임을 통해 재정의했습니다. 이 패러다임은 해당 벤치마크를 LOGO 스타일 액션 프로그램이나 구조화된 설명(structured descriptions)을 기반으로 하는 순수한 기호적 추론 과제로 변환합니다.

실험 결과는 매우 명확했습니다. LLM이 이러한 기호적 입력에 접근했을 때, Free-form 문제에서 90%대 중반의 높은 정확도를 일관되게 달성했습니다. 반면, 강력한 시각 기반의 베이스라인 모델(strong visual baseline)은 동일하게 정의된 과제 하에서도 우연 수준(near chance)에 머무르는 경향을 보였습니다.

이후 진행된 여러 Ablation Study를 통해 연구진은 핵심 원인을 규명했습니다. 입력 형식 변경, 명시적인 개념 프롬프트 추가, 또는 최소한의 시각적 접지(minimal visual grounding)만을 적용하는 경우 등 다양한 변수를 조작해 본 결과, 성능 차이를 만든 결정적인 요인은 픽셀 데이터 자체를 다루는 것에서 벗어나 **기호적 구조(symbolic structure)**로 정보를 전환시키는 과정 그 자체였습니다. 즉, 추상 시각 추론의 주요 병목 현상은 모델이 이미지를 원시 픽셀 형태로 이해하고 처리하는 표현 단계에 있음을 강력하게 주장합니다.

결론적으로, 이 연구는 기호적 입력이 어떻게 통제된 진단 상한선(controlled diagnostic upper bound) 역할을 할 수 있는지 보여주며, 추상 시각 추론의 한계를 명확히 제시했습니다. 이는 향후 VLM 설계가 단순한 이미지 인식 능력을 넘어, 구조화되고 기호적인 지식 표현을 통합하는 방향으로 나아가야 함을 시사합니다.