GameGym 소개: AI 에이전트를 위한 궁극의 게임 벤치마크

오늘 저희는 최첨단 모델(frontier model)이 비디오 게임에서 얼마나 잘 작동하는지 추적하기 위해 내부 평가 환경 일부를 공개합니다.

이것은 두 가지 주요 핵심 성과 지표(KPI)인 완료율(completion rate)과 속도(speed)를 측정합니다. 스피드런(speedrunning)과 유사하게, 완료율은 결국 포화될 수 있지만, 속도는 지속적인 개선을 측정하기 위한 영구적인 지표로 설계되었습니다.

게임은 AI가 마스터하기 가장 어려운 도전 과제 중 하나입니다: 3D, 실시간, 장기 예측(long-horizon), 비결정적(non-deterministic)이며 대규모의 다양성을 가진 환경입니다.

저희는 이것이 최종 단계(endgame)를 위해 완벽하게 구축된 벤치마크라고 믿습니다.

초기 결과를 여기서 확인해 보세요: