Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 복잡한 사회적 상호작용을 담은 CSB 데이터셋을 소개하고, 지난 10년간 VLM의 발전 과정을 분석했습니다. 연구 결과, MLLMs는 단순 장면(MS-COCO)과 복잡 행동(CSB) 간의 설명 정확도 격차를 해소하며 성능이 크게 향상되었습니다. 특히 객체 탐지, 인식, 환각 오류가 개선에 가장 큰 영향을 미쳤습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기비전 언어 모델(VLMs)은 지난 10년 동안 시각적 추론 분야에서 놀라운 발전을 이루었습니다. 대부분의 평가는 복잡한 인간 상호작용이나 행동을 보여주지 않는 단순한 장면(MS-COCO)을 사용했으며, 비정제된 인간 설명 몇 가지를 벤치마크로만 활용했고, 모델의 오류 유형에 대한 이해에는 초점을 맞추지 않았습니다. 본 논문에서는 복잡한 사회적 상호작용/행동을 담은 100장의 이미지를 포함하는 Complex Social Behavior (CSB) 데이터셋을 소개합니다. 우리는 지난 10년간(2017-2025년) VLM의 장면 설명 변화 과정을 분석했습니다 (사전 다중 모드 대규모 언어 모델, pre-MLLMs 네 가지와 MLLMs 다섯 가지). 우리는 CSB 데이터셋과 MS-COCO 샘플을 기준으로 20개의 인간 설명 대비 모델의 정확도를 평가했습니다. 우리는 객체 탐지(object detection), 인식(recognition), 환각(hallucination), 장면 이해(scene understanding), 공간 의존성(spatial dependence)이라는 다섯 가지 시각-인지 오류 유형을 분석했습니다. CSB 데이터셋은 MS-COCO보다 장면 설명 정확도에서 더 뚜렷한 개선을 보였으며, pre-MLLMs는 하위 순위 인간 설명보다 훨씬 낮은 정확도를 달성했고 MLLMs는 상위 순위 인간 설명과 유사한 정확도를 달성했습니다. 우리는 MLLMs가 단순한 MS-COCO 장면과 복잡한 행동을 묘사하는 장면(CSB) 사이의 장면 설명 정확도 격차를 해소했음을 보여줍니다. MLLMs는 테스트한 데이터셋에서 인간과 다른 이미지 영역에 가끔 의존하는 경우(공간 의존성 오류)를 제외하고 모든 오류 유형을 거의 제거했습니다. 또한, 탐지, 인식, 환각 오류가 장면 설명 정확도에 가장 큰 영향을 미친다는 것을 보여줍니다. 종합적으로, 우리의 연구 결과는 지난 10년간 비전 언어 모델이 어떻게 발전했는지에 대한 보다 철저한 평가를 제공합니다.