3DCodeVerse: 코드를 이용해 3D 세계 탐색하기

우리는 에이전트가 대규모로 편집 가능하고 검증 가능한 3D 콘텐츠를 생성할 수 있도록 하는 연구 생태계인 3DCodeVerse를 소개합니다. 3DCodeVerse는 실행 가능한 3D 코드의 대규모 고품질 데이터셋, 공간 추론 및 자동 검증을 위한 코딩 하니스(coding harness), 그리고 3D 코딩에 대한 실용적인 가이드를 포함합니다. 첫째, 우리는 독립형 3D 실행 코드의 대규모 큐레이션 데이터셋인 3DCodeVerse-2M을 구축했습니다. 이 코퍼스는 오픈 소스 데이터를 수집하고, 전문화된 표현(specialized representations)으로 변환하며, 코딩 에이전트를 통해 새로운 프로그램을 생성하여 구축되었습니다. 각 프로그램은 실행에 필요한 소스 파일과 관련 에셋(assets)이 선언된 환경과 함께 패키징되며, 사용 가능한 설명 및 검증 기록도 포함됩니다. 둘째, 우리는 3D 콘텐츠를 생성하고 정제하기 위한 다중 에이전트 방향성 비순환 그래프 프레임워크인 3DCodeVerse Harness를 개발했습니다. 이는 실행 확인(execution checks), 공간 측정(spatial measurements), 시각적 피드백을 사용하여 인간의 피드백 없이도 생성된 프로그램을 자동으로 평가하고 수정합니다. 셋째, 우리는 3D 코딩에 대한 체계적인 경험적 연구를 수행하여 파인튜닝된 오픈 모델로 기준선(baselines)을 설정하고, 하니스의 컴포넌트 수준 분석을 통해 실용적인 가이드를 도출했습니다. 광범위한 실험은 우리 데이터셋으로의 파인튜닝이 오픈 소스 모델의 3D 코딩 능력을 크게 향상시킨다는 것을 입증합니다. 특히, 우리의 3DCodeVerse 하니스는 Claude Opus 5.5에 의해 사용될 때, 쌍별 인간 평가(pairwise human evaluations)에서 Claude Design (3D Object) 대비 90% 승률을 달성했습니다.