질문(Interrogation)의 기술: 일관성이 공간 추론의 사실성을 증폭시킨다

요약

본 연구는 대규모 추론 모델(LRMs)의 공간 추론 능력 부족 문제를 다룹니다. 기존 방식이 외부 데이터에 의존하는 것과 달리, 본 논문은 정답 주석 없이 내부 추론 과정의 '논리적 일관성'을 강화하는 자기 지도 RL 프레임워크를 제안합니다. 이를 통해 모델이 기하학적/의미적 일관성을 학습하여 공간 추론 능력을 향상시킬 수 있음을 입증했습니다.

핵심 포인트

• 공간 추론은 LRM의 일반 능력에 내재되어 있으나, 논리적 일관성 정렬이 필요함.
• 정답 주석(ground-truth) 없이 내부 추론 과정을 목표로 하는 자기 지도 RL 프레임워크를 제안.
• 기하학적/의미적 일관성을 확인하는 '일관성 검증기' 개념을 공식화하여 활용.
• 새로운 최적 수송 기반 RL 전략인 OT-GRPO가 높은 일반화 성능을 보임.