GenXR-Bench: 인터랙티브 XR 개발을 위한 코딩 에이전트 벤치마킹

원문 발행 2026. 10. 21. 09:28원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

코딩 에이전트가 인터랙티브 XR 애플리케이션을 평가하는 것은 어려운 과제입니다. 본 글은 이를 위해 112개의 태스크로 구성된 GenXR-Bench를 소개합니다. 이 벤치마크는 공간 컴퓨팅 환경에서 에이전트를 테스트하며, 비동기 센서 라이프사이클 등에서 모델의 한계를 보여줍니다.

핵심 포인트

GenXR-Bench는 인터랙티브 XR 개발을 위한 최초의 종합 벤치마크입니다.
테스트 스위트는 기능 구현, 버그 수정 등 총 112개 태스크로 구성됩니다.
최고 모델도 Pass@1 점수가 단 50.9%에 그치는 한계가 확인되었습니다.
실패 원인은 비동기 센서 라이프사이클 및 체화된 상호작용 의미론 이해 부족입니다.

코딩 에이전트는 단일 파일 생성에서 장기적인 리포지토리 규모의 엔지니어링으로 빠르게 발전하고 있지만, 이들이 인터랙티브 확장 현실(XR) 애플리케이션을 작성할 수 있는 역량을 평가하는 것은 여전히 해결해야 할 과제로 남아 있습니다. 전통적인 소프트웨어와 달리, XR 애플리케이션은 동적인 3D 물리 환경 내에서 작동하며, 런타임 견고성은 지속적인 사용자 움직임, 공간 입력(spatial input), 그리고 환경 감지(environmental sensing)에 의해 공동으로 결정됩니다. 우리는 코딩 에이전트가 XR 소프트웨어 개발 과정 전반을 평가할 수 있는 최초의 벤치마크인 GenXR-Bench를 소개합니다. GenXR-Bench는 24개의 기능 구현, 21개의 버그 수정, 그리고 67개의 애플리케이션 생성 작업을 아우르는 총 112개의 전문가가 작성한 태스크로 구성되어 있습니다. 제외된 테스트(held-out tests)는 핵심 기능을 평가하기 위해 스크립트 기반 및 적응형 상호작용과 프로그래밍적/시각적 단언(assertions)을 결합하여 수행됩니다. GenXR-Bench의 테스트 스위트는 소비자 XR 하드웨어에서 실행된 124개의 후보 애플리케이션에 대한 전문가들의 눈가림 평가(blinded expert judgments) 대비 96.5%의 정확도를 달성했습니다. GenXR-Bench에서 10개의 모델을 평가한 결과, 가장 강력한 구성이라 할지라도 전체 Pass@1 점수는 단 50.9%에 불과하다는 것을 발견했습니다. 실패 분석 결과, 비동기 센서 라이프사이클(asynchronous sensor lifecycles), 물리적 접지(physical grounding), 그리고 체화된 상호작용 의미론(embodied interaction semantics)에서 반복적인 오해가 확인되었습니다. GenXR-Bench는 공간 컴퓨팅의 인터랙티브하고 물리적으로 위치하는 조건에서 코딩 에이전트를 평가하기 위한 재현 가능한 테스트베드를 구축합니다.

AI 자동 생성 콘텐츠

원문 바로가기

GenXR-Bench: 인터랙티브 XR 개발을 위한 코딩 에이전트 벤치마킹

요약

핵심 포인트

댓글