Odysseus: 게임 내 100 회 이상의 결정 작업을 위한 VLM 확장

요약

본 논문은 시각-언어 모델(VLM)의 역량을 비디오 게임과 같은 장기적이고 상호작용적인 결정 작업으로 확장하기 위한 새로운 RL 기반 훈련 프레임워크인 Odysseus를 제안합니다. 기존 VLM 접근법이 짧은 지평이나 대규모 감독 데이터에 의존했던 한계를 극복하고, Super Mario Land와 같은 환경에서 100회 이상의 연속적인 상호작용을 성공적으로 수행하는 것을 목표로 합니다. 연구진은 PPO 변형과 경량화된 크리틱(critic) 적용을 통해 훈련 안정성과 샘플 효율성을 개선했으며, 사전 학습된 VLM이 제공하는 행동 선행 확률(action priors)의 활용을 통해 수동 설계 의존도를 낮추고 실질적인 성능 향상을 입증했습니다.

핵심 포인트

• Odysseus는 VLM 에이전트를 위한 오픈 소스 훈련 프레임워크로, 장기적이고 상호작용적인 게임 환경에 특화되어 있다.
• 100회 이상의 연속적인 결정 작업(장기 지형 결정)을 위해 RL 기반의 안정적이고 효율적인 훈련 방법을 제시한다.
• PPO 변형과 경량화된 크리틱 적용을 통해 기존 대비 훈련 안정성과 샘플 효율성을 크게 개선했다.
• 사전 학습된 VLM이 제공하는 행동 선행 확률(action priors)을 활용하여 수동 설계 없이도 RL 성능 향상을 이끌어낸다.