SVoT는 RL (강화학습)을 사용하여 MLLM (멀티모달 거대 언어 모델)의 공간 추론 상태를 검증하며, Pacman 및 Gather를 포함한 5개 도메인의 OOD (분포 외) 테스트에서 최대 65%의 정확도 향상을 달성했습니다.

새로운 RL 프레임워크인 SVoT는 GRPO (Group Relative Policy Optimization) 학습을 통해 MLLM의 중간 공간 추론 상태를 검증합니다. 분포 외 (out-of-distribution) 테스트에서 5개 도메인에 걸쳐 최대 65%의 절대적 정확도 향상을 달성했습니다.

주요 사실

• SVoT는 OOD 테스트에서 최대 65%의 절대적 정확도 향상을 달성했습니다.
• DeepSeek-R1과 동일한 알고리즘인 GRPO를 통해 학습되었습니다.
• 다중 객체 추론을 위한 Pacman 및 Gather 도메인을 도입했습니다.
• 총 5개의 도메인을 통해 기존 환경을 확장했습니다.
• 2026년 6월 10일 arXiv에 게시되었습니다.

멀티모달 거대 언어 모델 (MLLMs)은 상태 전이를 암묵적인 과정으로 취급하고 중간 상태를 검증하지 않기 때문에, 다단계 (multi-hop) 공간 추론에서 어려움을 겪습니다. Chao Lei, Yanbei Jiang, Markus Hiller 및 동료들이 발표한 새로운 논문 SVoT: State-aware Visualization-of-Thought for Spatial Reasoning via Reinforcement Learning은 상호 연계되고 검증 가능한 중간 상태와 시각화를 생성하는 강화학습 (RL) 프레임워크인 SVoT를 통해 이 문제를 정면으로 다룹니다.

SVoT의 작동 원리

SVoT는 각 동작의 전제 조건과 효과에 대한 명시적인 텍스트 및 시각적 설명인 전이 추론 체인 (transition reasoning chains)을 생성 과정에 통합합니다. 이는 DeepSeek-R1의 기반이 되는 알고리즘과 동일한 GRPO (Group Relative Policy Optimization)를 통해 학습되지만, 여기서는 상태 검증을 위한 세밀한 보상 설계와 함께 구현되었습니다. 모델은 경로를 환각 (hallucinating)하는 대신, 다음 단계로 넘어가기 전에 자신의 중간 추론 단계를 스스로 확인하는 법을 배웁니다.

벤치마크 격차

기존의 공간 추론 (spatial reasoning) 벤치마크는 상태 전이 (state transitions)를 단일 변수 업데이트로 축소하여 문제를 상당히 단순화합니다. 저자들은 고전적인 환경을 확장하고, 다중 객체 상호작용 (multi-object interactions)과 수치적 추론 (numerical reasoning)을 요구하는 두 가지 새로운 도메인인 Pacman과 Gather를 도입함으로써 이에 대응합니다. 이러한 도메인들은 생성된 중간 상태 (intermediate states)에 대한 정량적 검증 (quantitative verification)을 지원하며, 이는 이전의 벤치마크들이 수행할 수 없었던 기능입니다.

결과 (Results)

전이 인식 감독 (transition-aware supervision)을 적용한 SVoT는 도입된 5개 도메인 모두에서 최첨단 (state-of-the-art) 성능을 달성합니다. 분포 외 (out-of-distribution) 테스트 세트에서 절대 정확도 향상은 65%에 달합니다. 지도 미세 조정 (supervised fine-tuning) 대신 강화학습 (RL)에 의존하는 이 프레임워크는 훈련 분포를 넘어 일반화할 수 있으며, 이는 환경이 변하는 실제 배포 상황에서 매우 중요한 특성입니다.

의의 (Why It Matters)

핵심 통찰은 검증이 사후적 (post-hoc)이 아니라 중간에 삽입 (interleaved)되어야 한다는 점입니다. 사고의 사슬 (Chain-of-thought) 추론은 모델이 추론 과정 중간에 자신의 오류를 감지할 수 없기 때문에 공간 작업에서 실패하는 경우가 많습니다. SVoT의 RL 기반 검증 루프는 인간이 이동할 때마다 지도를 다시 확인하는 방식을 모방합니다. 65%의 향상은 MLLM 공간 추론의 병목 현상이 인지 (perception)가 아니라 상태 추적 (state tracking)에 있으며, RL이 이를 해결할 수 있는 확장 가능한 경로를 제공함을 시사합니다.

주목할 점 (What to watch)

GitHub에서 SVoT의 보상 설계 (reward design)에 대한 오픈 소스 구현이 올라오는지, 그리고 이 접근 방식이 Habitat 또는 Matterport3D와 같은 3D 공간 추론 (3D spatial reasoning) 벤치마크로 전이되는지 주목하십시오. 또한, 상용 MLLM 제공업체 (OpenAI, Google)가 차기 모델 출시에서 인터리브 검증 (interleaved verification) 방식을 채택하는지도 추적하십시오.

출처: arxiv.org

원문 게시: gentic.news