GeoX: 셀프 플레이(Self-Play)와 검증 가능한 보상(Verifiable Rewards)을 통한 지리 공간 추론(Geospatial

요약

GeoX는 대규모 인간 주석 데이터 없이도 지리 공간 추론 능력을 학습할 수 있는 셀프 플레이(Self-play) 프레임워크입니다. 실행 가능한 프로그램을 통해 검증 가능한 보상을 생성하며, 강화학습을 통해 멀티모달 정책과 검증기를 동시에 최적화합니다. 이를 통해 기존 VLM의 성능을 크게 향상시키고 지리 공간 이해를 위한 새로운 벤치마크를 제시합니다.

핵심 포인트

• 인간의 주석 없이 실행 가능한 프로그램을 활용한 검증 가능한 보상(Verifiable rewards) 체계 구축
• 가추법, 연역법, 귀납법의 세 가지 추론 모드를 지원하는 단일 멀티모달 정책 채택
• 강화학습을 통해 정책(Policy)과 검증기(Verifier)를 공동 최적화하는 셀프 플레이 방식
• 기존 VLM 성능을 평균 5.5포인트 향상시키며 대규모 데이터셋 기반 모델과 대등한 성능 달성
• 지리 공간 이해 능력 측정을 위한 새로운 벤치마크 공개