Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
실제 Unreal Engine 5 환경에서 C++ 코드를 수정하는 코딩 에이전트의 능력을 평가하기 위한 새로운 벤치마크인 GameEngineBench를 제안합니다. 110개의 복잡한 작업을 통해 최첨단 모델들이 실시간 상호작용 소프트웨어 개발에서 겪는 한계를 분석합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기게임 엔진은 실시간 시뮬레이션, 렌더링, 물리, 상호작용, 네트워킹 및 에셋 파이프라인을 제공하며, 이는 게임뿐만 아니라 의료, 로보틱스, 건축, 제조 및 관련 분야의 3D 애플리케이션에서도 매우 가치 있게 활용됩니다. 게임 개발은 이러한 시스템이 가장 성숙해 있고 공개적으로 사용 가능한 분야이기 때문에, 상태 유지(stateful)가 가능하고 상호작용하며 실시간으로 작동하는 시스템 내에서 C++ 코드를 수정해야 하는 코딩 에이전트(coding agents)를 평가하기 위한 실질적인 테스트베드를 제공합니다. 본 논문에서는 9개의 실제 게임 리포지토리(repositories)를 기반으로 구축된, Unreal Engine 5 프로젝트 내의 범위가 지정된 C++ 구현 작업에서 코딩 에이전트를 평가하기 위한 벤치마크인 GameEngineBench를 제시합니다. 평가 세트는 게임플레이 메커니즘, 멀티플레이어 동작, AI 및 월드 오케스트레이션(world orchestration), 애니메이션 및 이동, UI 및 세션 코드, 로딩 동작, 온라인 서비스 통합, 지속성(persistence), 데이터 직렬화(data serialization), XR 동작, 그리고 렌더링 중심 플러그인에 이르는 110개의 작업으로 구성됩니다. 이러한 작업들은 모델이 실행 가능한 Unreal Engine 프로젝트 내에서 컴파일이 가능하고 동작 테스트를 통과하는 네이티브 C++ 변경 사항을 생성할 것을 요구합니다. 12개의 평가된 구성 중에서 가장 강력한 모델은 55.5%의 pass@1을 달성했으나, 31개의 작업은 모든 구성에서 해결되지 않은 채로 남았습니다. 우리의 결과는 최첨단 코딩 에이전트들이 실시간 상호작용 소프트웨어를 위한 깊게 통합된 C++ 개발에서 여전히 어려움을 겪고 있음을 보여주며, 게임 엔진 벤치마크가 기존의 소프트웨어 엔지니어링 평가를 보완하는 가치 있는 수단임을 강조합니다.