능동적 관찰을 위한 시험 (An Exam for Active Observers)
요약
본 논문은 인간의 능동적 관찰 능력과 MLLMs의 시각 인지 능력을 비교하며, 현재 모델들이 이 부분에서 취약함을 지적합니다. 'ActiveVision'이라는 새로운 벤치마크를 제시하여, 단일 정적 설명이 아닌 반복적인 시각적 추론을 요구하는 17개 과제로 구성했습니다. 평가 결과, GPT-5.5와 Claude Fable 5 등 최신 모델들이 이 능동 관찰 테스트에서 현저히 낮은 성능을 보였습니다.
핵심 포인트
- MLLMs의 능동적 관찰 능력 부족이 확인됨.
- ActiveVision은 반복적인 시각 추론을 측정하는 새로운 벤치마크임.
- 최고 성능 모델들(GPT-5.5, Claude Fable 5)도 ActiveVision에서 낮은 점수를 기록함.
- 모델 개선을 위해 인식-추론 루프를 닫는 아키텍처가 필요함을 시사함.
인간의 시각은 폐쇄 루프(closed loop)입니다. 즉, 응시(gaze)는 단일 스냅샷이 아니라 중간 가설들에 의해 지속적으로 재지향됩니다. 수십 년 동안의 심리물리학 및 인지과학은 이러한 능동적 관찰이 광범위한 작업에 필수적이라고 주장해 왔습니다. 오늘날의 멀티모달 대규모 언어 모델(MLLMs)이 능동적 관찰을 수행하는지는 현재의 비전-언어 벤치마크가 답하지 못하는 경험적인 질문입니다. 우리는 MLLMs에게 능동적 관찰을 측정 가능하게 만드는 벤치마크인 ActiveVision을 소개하며, 이는 3가지 카테고리에 걸쳐 17개의 과제로 구성되어 있습니다. 이 과제들은 단일 정적 설명보다는 반복적인 시각적 인식을 강제하도록 설계되었습니다. 최첨단 MLLMs는 ActiveVision에서 무너집니다: 우리가 평가한 모델 중 최고 점수를 기록한 GPT-5.5가 가장 높은 노출 추론 노력(exposed reasoning-effort) 단계에서 단지 10.6%의 항목만 해결했으며, 17개 과제 중 11개에서는 0점을 받았습니다. 심지어 대부분의 추론 및 코딩 리더보드에서 최고를 차지한 Claude Fable 5조차도 단지 3.5%만을 해결하여, 평균 96.1%를 기록한 세 명의 인간 참가자보다 훨씬 뒤처졌습니다. 더욱이, 모델들이 자체 비전 코드를 작성하고 실행할 때에도 이러한 격차가 많이 유지됩니다: 그러한 코드는 현실적인 이미지에 대해 신뢰성이 떨어지며, 그 실패를 포착하는 것 자체가 모델들이 부족한 능동적 인식을 요구합니다. 종합적으로 볼 때, 이러한 결과들은 현재의 MLLMs가 견고한 능동적 시각 관찰 능력이 부족함을 나타내며, 이는 인식-추론 루프(perception-reasoning loop)를 닫는 아키텍처와 학습 목표에 대한 동기를 부여합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기