SpatialASM: 공간 추론을 위한 능동적 정신화 내재화

요약

본 논문은 대규모 비전-언어 모델(LVLMs)이 인간처럼 능동적으로 공간을 정신화하고 추론하는 능력, 즉 Active Spatial Mentalization (ASM)의 부족함을 지적합니다. 이를 해결하기 위해, 훈련 과정에서 공간 시뮬레이션을 통해 ASM을 내재화하는 확장 가능한 프레임워크인 SpatialASM을 제안했습니다. 이 프레임워크는 가상 관점 생성과 두 가지 지도 학습 방식을 활용하여 LVLMs의 공간 추론 성능을 크게 향상시킵니다.

핵심 포인트

• Active Spatial Mentalization (ASM)은 LVLM이 갖춰야 할 핵심 시각 지능 요소입니다.
• SpatialASM 프레임워크는 공간 시뮬레이션을 통해 ASM 능력을 내재화합니다.
• 명시적 ASM 궤적과 관점 기반 상상력 과제를 결합하여 학습을 강화했습니다.
• 7개 벤치마크에서 LVLM의 공간 추론 성능 향상을 입증했습니다.