Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MentalThink는 MLLM이 SVG 코드를 생성하고 렌더링하여 '정신적 시각화'를 수행하도록 하는 새로운 시각-기호 추론 패러다임을 제안합니다. 모델은 SVG를 중간 시각 표현으로 사용하여 공간적 가설을 외재화하고 반복적으로 수정하며 추론 능력을 강화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 멀티모달 거대언어모델 (Multimodal LLMs, MLLMs)에 "정신적" 시각화를 위한 실행 가능한 메커니즘을 부여하는 시각-기호 추론 패러다임인 MentalThink를 소개합니다. MentalThink의 핵심은 think-with-SVG 파이프라인으로, 모델은 다회차 추론 (multi-turn reasoning)을 위한 중간 시각 표현으로서 확장 가능한 벡터 그래픽 (Scalable Vector Graphics, SVG) 코드를 생성, 렌더링 및 해석하는 법을 학습합니다. 구조화된 벡터 스케치를 생성함으로써, 모델은 공간적 가설을 외재화하고, 결정론적 렌더링 (deterministic rendering)을 통해 이를 검사하며, 제한된 기하학적 공간 내에서 추론할 수 있어 인간의 정신적 이미지 (mental imagery) 과정을 효과적으로 모방합니다. 우리는 SVG 구문 정렬 (syntactic alignment)을 위한 지도 미세 조정 (Supervised Fine-Tuning, SFT)과 중간 시각적 가설의 반복적인 검사, 수정 및 개선을 장려하는 다회차 강화학습 (Reinforcement Learning, RL)을 결합한 2단계 학습 프레임워크를 통해 이 패러다임을 구현합니다. 광범위한 평가를 통해 MentalThink가 공간 이해 및 추론 벤치마크(예: VSIBench에서 55.1%, MindCube에서 76.0%)에서 우수한 성능을 달성함을 입증하였으며, 이는 실행 가능한 벡터 그래픽이 동적인 관점 취하기 (perspective taking), 시각적 성찰 (visual reflection), 그리고 구성적 장면 구축 (compositional scene construction)을 위한 검증 가능한 시각적 작업 공간을 제공함을 보여줍니다.