코딩 에이전트가 인터랙티브 3D 월드를 구축할 수 있을까? Frontier3DBench가 오브젝트, 씬, 월드 전반에 걸쳐 11가지 구성을

동일한 코딩 에이전트가 상세한 3D 오브젝트를 만들고, 씬을 조립하며, 실제로 작동하는 인터랙티브 월드를 구현할 수 있을까요? Einsia 팀은 이러한 진행 과정을 테스트하기 위해 Frontier3DBench를 출시했습니다. 이 벤치마크는 9가지 카테고리에 걸쳐 145개의 태스크를 다루며, 편집 가능한 Blender 프로젝트와 실행 가능한 Unreal Engine 월드를 생성하는 11가지 모델-하네스 구성을 포함합니다. 평가는 렌더링된 뷰, 씬 검사, 런타임 테스트를 통해 외관(appearance), 구조(structure), 행동(behavior)을 포괄합니다.

몇 가지 결과는 다음과 같습니다: GPT-6.1-sol이 전반적으로 그리고 오브젝트 및 씬 부문에서 선두를 달리고 있으며, GPT-6-astra가 인터랙티브 월드 분야에서 선두를 차지했습니다. MiniMax-M3.1-Flash는 전반적으로 6위를 기록했지만, 씬 편집에서는 2위였습니다. 모든 구성은 오브젝트 및 씬 태스크 모두에서 텍스트 기반 생성(text-driven generation)보다 참조 기반 재구성(reference-based reconstruction) 점수가 낮았습니다.

총 165개의 월드 제출물 중, 로컬 메커니즘이 상태 저장 워크플로우(stateful workflows)보다 훨씬 높은 점수를 기록했습니다: 100점 만점에 각각 83.08점 대 30.26점이었습니다. 흥미로운 질문은 에이전트의 강점이 개별 자산에서 조정된 상호작용과 영속적인 상태를 가진 환경으로 얼마나 잘 이어지는가 하는 점입니다.

프로젝트 및 예시: https://lab.einsia.ai/frontier3dbench 논문: https://lab.einsia.ai/frontier3dbench/Frontier3DBench.pdf GitHub: https://github.com/Einsia/Frontier3D /u/OliviaYii 작성