Articraft: 확장 가능한 관절형 3D 에셋 생성을 위한 에이전트 시스템
요약
Articraft는 대규모 언어 모델(LLMs)을 활용하여 관절형(Articulated) 3D 에셋을 대규모로 생성하는 새로운 에이전트 시스템입니다. 3D 에셋 생성을 코드를 작성하는 문제로 정의하고, 도메인 특화 SDK와 하네스를 통해 LLM이 정교한 부품 정의 및 관절 설계를 수행하도록 설계되었습니다. 이를 통해 245개 카테고리에 걸친 1만 개 이상의 고품질 에셋 데이터셋인 Articraft-10K를 구축하였습니다.
핵심 포인트
- 3D 에셋 생성을 프로그래밍 문제로 축소하여 LLM의 코드 작성 능력을 활용함
- 도메인 특화 SDK와 하네스를 통해 LLM이 복잡한 세부 사항 대신 구조적 설계에 집중할 수 있도록 지원
- 기존의 최첨단 에셋 생성기 및 범용 코딩 에이전트보다 높은 품질의 결과물 생성
- 로보틱스 시뮬레이션 및 VR 등 다양한 다운스트림 애플리케이션에 활용 가능한 Articraft-10K 데이터셋 구축
관절형 (Articulated) 3D 객체를 이해하는 법을 학습하는 데 있어 병목 현상은 크고 다양한 데이터셋의 부족입니다. 본 논문에서는 이 격차를 해소하고 관절형 에셋을 대규모로 생성하기 위해 대규모 언어 모델 (LLMs)을 활용할 것을 제안합니다. 우리는 관절형 3D 에셋을 생성하는 문제를 이를 구축하는 프로그램을 작성하는 문제로 축소합니다. 그런 다음, 이러한 프로그램을 자동으로 작성하는 새로운 에이전트 시스템인 Articraft를 소개합니다. 우리는 LLM이 이를 효과적으로 수행할 수 있도록 프로그래밍 방식의 인터페이스와 하네스 (harness)를 설계합니다. LLM은 부품 정의, 기하학적 구조 (geometry) 구성, 관절 (joints) 지정 및 결과 에셋을 검증하기 위한 테스트 작성을 위한 도메인 특화 SDK를 사용하여 코드를 작성합니다. 하네스는 LLM에 제한된 작업 공간과 인터페이스를 노출하고, 생성된 에셋을 검증하며, 구조화된 피드백을 반환합니다. 이러한 방식을 통해 LLM은 URDF 파일을 작성하거나 복잡한 소프트웨어 환경을 관리하는 것과 같은 세부 사항에 방해받지 않습니다. 우리는 이것이 최첨단 (state-of-the-art) 관절형 에셋 생성기와 범용 코딩 에이전트 모두보다 더 높은 품질의 에셋을 생성함을 보여줍니다. Articraft를 사용하여 우리는 245개 카테고리에 걸쳐 1만 개 이상의 관절형 에셋을 포함하는 큐레이션된 데이터셋인 Articraft-10K를 구축하였으며, 관절형 에셋 모델 학습과 로보틱스 시뮬레이션 및 가상 현실 (VR)과 같은 다운스트림 애플리케이션 모두에서의 유용성을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기