시각적 행동 결과 추론 정렬을 통한 물리적 추론 및 작업 일반화 연결

원문 발행 2026. 07. 08. 02:27원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

본 논문은 VLM이 보지 못한 환경에서 물리적 추론 및 작업 일반화에 어려움을 겪는 문제를 다룹니다. 이를 해결하기 위해 VAORA라는 새로운 보상 설계(Visual Action Outcome Reasoning Alignment)를 제안합니다. 이 보상은 시각적 맥락 고정 및 행동 기반 근거지어짐을 통해 환각된 CoT와 추론-행동 불일치를 줄여 물리적 지능의 일반화를 돕습니다.

핵심 포인트

VLM은 미지의 환경에서 물리적 추론에 어려움을 겪음.
VAORA는 시각적 맥락 고정 및 행동 기반 근거지어짐 보상을 도입.
이 보상 설계는 환각된 CoT와 추론-행동 불일치를 줄임.
실험을 통해 일반화 가능하고 근거지어지는 물리적 지능 구현 가능성을 입증함.

Vision-language models (VLMs)는 특히 보지 못한 작업과 환경에서 상호작용하는 물리적 추론에 있어 일반화하는 데 어려움을 겪습니다. 두 가지 주요 실패 모드가 두드러집니다: 물리적 현실과 모순되는 환각된 chain-of-thought (CoT) 추론, 그리고 모델의 추론과 행동 간의 불일치입니다. 본 논문에서는 이 두 문제를 직접적으로 해결하는 새로운 보상 설계인 VAORA (Visual Action Outcome Reasoning Alignment)를 제시합니다. VAORA는 두 가지 상호 보완적인 보상을 도입합니다: 에이전트의 행동 자체와 무관하게 VLM 추론을 시각적 맥락에 고정시키는 Visual Alignment Reward, 그리고 모델의 행동으로 유도된 시각적 결과에 추론을 근거지어(ground) 하는 Visual-Action Alignment Reward입니다. 이 보상들은 함께 환각된 CoT를 억제하고 추론과 행동 사이의 격차를 줄입니다. 또한, 훈련 안정성을 개선하기 위해 사전에 학습된 도메인 전문가 에이전트를 사용하여 성공 확률을 추정함으로써 부드럽고 밀집된(dense) 보상을 추가로 사용합니다. PHYRE와 Virtual Tool에서의 실험은 새로운 작업 및 보지 못한 환경 설정 전반에 걸쳐 우리의 성능을 뒷받침하며, VAORA를 통해 근거지어지고 일반화 가능한 물리적 지능이 유도될 수 있음을 확인시켜 줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

시각적 행동 결과 추론 정렬을 통한 물리적 추론 및 작업 일반화 연결

요약

핵심 포인트

댓글