새로운 OpenReview 벤치마크는 코드, 시각 자료, 에셋을 하나의 루프(loop)로 묶어 에이전트를 게임 엔진 작업으로 몰아넣습니다. 결과는 냉혹합니다. 가장 뛰어난 베이스라인(baseline)조차 작업의 49%만을 해결했습니다.

Agent Evals - 2026년 5월 23일

GameDevBench는 Unity 및 Godot를 위한 공개 웹 및 비디오 튜토리얼에서 추출한 358개의 작업으로 구성되어 있습니다. 이 평가 프로토콜은 측정 대상 측면에서 주목할 만합니다. 각 작업은 에이전트가 자연어 지시사항을 읽고, 엔진의 스크립팅 언어로 코드를 작성하거나 수정하며, 그 결과를 행동 테스트(behavioural test)를 통해 평가받을 것을 요구합니다. 이는 유닛 테스트(unit test)가 아니라, 게임 오브젝트가 올바르게 작동하는지를 확인하는 런타임 체크(runtime check)입니다. 이는 에이전트 평가를 지배해 온 패치 생성(patch-generation) 벤치마크보다 실질적으로 더 어려운 평가 목표입니다. 왜냐하면 정답(ground truth)이 코드의 차이(diff)가 아니라 실행 중인 시스템 상태(running system state)이기 때문입니다.

작업 유형별 성능 분석은 기계론적으로 유익한 정보를 제공합니다. 논문에 따르면, 코드와 행동 사이의 관계가 비교적 직접적인 게임플레이(gameplay) 작업에서는 56.1%의 성공률을 기록했습니다. 즉, 이동 스크립트가 예상된 속도를 생성하거나 생성하지 못하는 식입니다. 하지만 에이전트가 코드 변경 사항을 시각적 출력과 일치시켜야 하는 2D 그래픽(2D graphics) 작업에서는 성공률이 37.0%로 떨어집니다. 스프라이트(sprite)가 올바르게 배치되어야 하고, 애니메이션이 적절한 프레임 레이트(frame rate)로 실행되어야 하며, 충돌 메쉬(collision mesh)가 렌더링된 모양과 일치해야 하기 때문입니다. 이 19%포인트의 격차는 시각-코드 정렬 페널티(visual-code alignment penalty)를 측정하는 지표입니다. 에이전트는 코드는 이해하지만, 시각적 결과를 직접 보지 않고는 그 결과를 신뢰성 있게 검증할 수 없음을 의미합니다.

비디오 피드백 (Video feedback) 실험은 기술적으로 가장 유의미한 결과입니다. 비디오 피드백, 즉 모델이 작업하는 동안 렌더링된 게임 출력을 스트리밍하여 다시 전달하는 기능을 추가하면, Claude Sonnet 4.5의 성능이 34.4%에서 44.7%로 상승하며, 단일 시스템 변경만으로 30%의 상대적 개선을 보여줍니다. 메커니즘은 간단합니다. 에이전트는 자신이 예상한 시각적 결과와 실제 렌더링된 프레임 사이의 차이(delta)를 관찰할 수 있으며, 이는 텍스트 전용 버전은 닫을 수 없는 수정 루프 (correction loop)를 활성화합니다. 순차적인 다단계 작업의 경우, 검증되지 않은 각 단계는 오류를 누적시킵니다. 에이전트가 다섯 번째 단계에 도달할 때쯤이면, 내부 세계 모델 (world model)과 실제 게임 상태 사이의 누적된 괴리가 너무 커져서 다음 행동이 잘못된 전제에 기반하게 될 수 있습니다. 비디오 피드백은 매 단계마다 세계 모델을 재보정하며, 이것이 구현 비용 대비 이점이 불균형적으로 큰 이유입니다.

근본적인 실패 모드 (failure mode)는 제어 이론 (control theory)에서 말하는 개루프 결함 (open-loop deficiency)입니다. 텍스트 전용 코딩 에이전트는 전적으로 코드, 문서, 그리고 이전 컨텍스트에서 도출된 세계 모델을 바탕으로 작동합니다. 에이전트는 코드 조각이 무엇을 해야 하는지는 예측할 수 있지만, 렌더링되거나 상호작용 가능한 환경에서 실제로 무엇을 했는지는 검증할 수 없습니다. 이러한 특성은 게임에만 국한되지 않습니다. 동적으로 렌더링되는 페이지를 처리하는 웹 자동화, 시각적 회귀 테스트 (visual regression testing)가 필요한 디자인 시스템, 출력이 숫자가 아닌 도표인 과학적 시각화 파이프라인, 그리고 레거시 GUI를 대상으로 하는 로봇 프로세스 자동화 (RPA) 모두 동일한 개루프 결함을 공유합니다. GameDevBench는 이를 깔끔하게 측정하는 첫 번째 벤치마크입니다.

오늘날 멀티모달 에이전트 (multimodal agents)를 배포하려는 모든 이들에게 주는 실질적인 시사점은, 모델의 선택만큼이나 평가 프로토콜 (evaluation protocol)이 중요하다는 것입니다. 코드 생성 품질로만 평가되는 에이전트는 코드는 정확하지만 관찰 가능한 출력 (observable output)이 틀린 작업에서도 성능이 좋은 것처럼 보일 것입니다. 시각적 피드백 (visual-feedback)에 의존하는 작업을 수행하는 에이전트를 배포하는 팀은 작업 완료 기준의 일부로 출력 검증 — 스크린샷 비교, 렌더링된 상태 검증 (rendered state validation), UI 요소 탐지 — 을 포함하는 벤치마크 제품군 (benchmark suites)을 구축해야 합니다. 44.7% 대 34.4%라는 결과는 현재 모델에서도 시각적 피드백 루프 (visual feedback loops)에 대한 투자가 측정 가능한 수익을 가져다준다는 것을 보여줍니다. 지금 이러한 인프라를 구축하는 팀은 자신들의 에이전트가 실제로 어디에서 실패하는지에 대해 더 정확한 그림을 갖게 될 것입니다.

이 벤치마크는 모델 스케일링 (model scaling)에 대해서도 덜 명백한 시사점을 제공합니다. 일반적인 가정은 더 나은 모델이 코드에 대해 더 잘 추론하기 때문에 더 많은 작업을 해결한다는 것입니다. GameDevBench는 남아있는 성능 격차 중 일부가 주로 추론 능력의 결핍 (reasoning deficit) 때문이 아니라, 피드백의 결핍 (feedback deficit) 때문임을 시사합니다. 적어도 멀티모달 제어 작업 (multimodal control tasks)에 있어서는, 각 단계에서 모델에 적절한 환경 상태 (environmental state)를 제공하는 것이 파라미터 수 (parameter count)를 늘리는 것보다 더 중요합니다. 이는 단기적인 연구 우선순위를 훈련 시점의 능력 (training-time capability)에서 추론 시점의 환경 설계 (inference-time environment design)로 전환시킵니다. 즉, 모델이 잘못된 입력을 처리하는 데 더 똑똑해지도록 만드는 방법이 아니라, 모델에게 어떻게 올바른 입력을 줄 것인가의 문제입니다.

저자 소개

Yujia Zhang — 에너지 모델러 (Energy Modeller) 및 퀀트 연구원 (Quant Researcher, PhD). AI 인프라, 전력 시장 및 금융 시스템을 다룹니다.

🔗 yujiazhang.co.uk/news에서 실시간 시장 정보를 확인하세요.