GameCraft-Bench: 에이전트가 실제 게임 엔진에서 엔드투엔드(End-to-End)로 플레이 가능한 게임을 제작할 수 있는가?

요약

에이전트가 게임 엔진 내에서 플레이 가능한 게임을 생성할 수 있는지 평가하는 새로운 벤치마크인 GameCraft-Bench를 제안합니다. Godot 엔진을 기반으로 엔진 그라운딩, 아티팩트 완전성, 상호작용 검증을 통해 에이전트의 게임 생성 능력을 다각도로 분석합니다.

핵심 포인트

• 엔드투엔드 게임 생성을 위한 새로운 평가 프레임워크 제안
• Godot 엔진 기반 140개 태스크로 구성된 GameCraft-Bench 구축
• 최첨단 코딩 에이전트의 게임 생성 성공률은 41.46%로 매우 낮음
• 에이전트가 메카닉 구현은 가능하나 콘텐츠 및 시각적 일관성 유지에 어려움을 겪음