Vision-language models (VLMs)는 특히 보지 못한 작업과 환경에서 상호작용하는 물리적 추론에 있어 일반화하는 데 어려움을 겪습니다. 두 가지 주요 실패 모드가 두드러집니다: 물리적 현실과 모순되는 환각된 chain-of-thought (CoT) 추론, 그리고 모델의 추론과 행동 간의 불일치입니다. 본 논문에서는 이 두 문제를 직접적으로 해결하는 새로운 보상 설계인 VAORA (Visual Action Outcome Reasoning Alignment)를 제시합니다. VAORA는 두 가지 상호 보완적인 보상을 도입합니다: 에이전트의 행동 자체와 무관하게 VLM 추론을 시각적 맥락에 고정시키는 Visual Alignment Reward, 그리고 모델의 행동으로 유도된 시각적 결과에 추론을 근거지어(ground) 하는 Visual-Action Alignment Reward입니다. 이 보상들은 함께 환각된 CoT를 억제하고 추론과 행동 사이의 격차를 줄입니다. 또한, 훈련 안정성을 개선하기 위해 사전에 학습된 도메인 전문가 에이전트를 사용하여 성공 확률을 추정함으로써 부드럽고 밀집된(dense) 보상을 추가로 사용합니다. PHYRE와 Virtual Tool에서의 실험은 새로운 작업 및 보지 못한 환경 설정 전반에 걸쳐 우리의 성능을 뒷받침하며, VAORA를 통해 근거지어지고 일반화 가능한 물리적 지능이 유도될 수 있음을 확인시켜 줍니다.