게임 엔진은 실시간 시뮬레이션, 렌더링, 물리, 상호작용, 네트워킹 및 에셋 파이프라인을 제공하며, 이는 게임뿐만 아니라 의료, 로보틱스, 건축, 제조 및 관련 분야의 3D 애플리케이션에서도 매우 가치 있게 활용됩니다. 게임 개발은 이러한 시스템이 가장 성숙해 있고 공개적으로 사용 가능한 분야이기 때문에, 상태 유지(stateful)가 가능하고 상호작용하며 실시간으로 작동하는 시스템 내에서 C++ 코드를 수정해야 하는 코딩 에이전트(coding agents)를 평가하기 위한 실질적인 테스트베드를 제공합니다. 본 논문에서는 9개의 실제 게임 리포지토리(repositories)를 기반으로 구축된, Unreal Engine 5 프로젝트 내의 범위가 지정된 C++ 구현 작업에서 코딩 에이전트를 평가하기 위한 벤치마크인 GameEngineBench를 제시합니다. 평가 세트는 게임플레이 메커니즘, 멀티플레이어 동작, AI 및 월드 오케스트레이션(world orchestration), 애니메이션 및 이동, UI 및 세션 코드, 로딩 동작, 온라인 서비스 통합, 지속성(persistence), 데이터 직렬화(data serialization), XR 동작, 그리고 렌더링 중심 플러그인에 이르는 110개의 작업으로 구성됩니다. 이러한 작업들은 모델이 실행 가능한 Unreal Engine 프로젝트 내에서 컴파일이 가능하고 동작 테스트를 통과하는 네이티브 C++ 변경 사항을 생성할 것을 요구합니다. 12개의 평가된 구성 중에서 가장 강력한 모델은 55.5%의 pass@1을 달성했으나, 31개의 작업은 모든 구성에서 해결되지 않은 채로 남았습니다. 우리의 결과는 최첨단 코딩 에이전트들이 실시간 상호작용 소프트웨어를 위한 깊게 통합된 C++ 개발에서 여전히 어려움을 겪고 있음을 보여주며, 게임 엔진 벤치마크가 기존의 소프트웨어 엔지니어링 평가를 보완하는 가치 있는 수단임을 강조합니다.