BlenderRAG: 검색 강화 코드 합성을 통한 고해상도 3D 객체 생성

요약

BlenderRAG는 검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템을 활용하여 자연어 설명으로부터 실행 가능한 Blender 코드를 자동으로 생성하는 방법론입니다. 기존 LLM의 문법 오류 및 기하학적 불일치 문제를 해결하기 위해, 50개 객 범주에 걸쳐 전문가 검증된 멀티모달 데이터셋(텍스트, 코드, 이미지)을 구축했습니다. 이 시스템은 검색 과정을 통해 의미적으로 유사한 예시를 참조하여, 기존 LLM 대비 컴파일 성공률을 크게 향상시키고 생성된 객체의 시맨틱 정렬도를 높여 고품질의 3D 모델 생성을 가능하게 합니다.

핵심 포인트

• BlenderRAG는 RAG 아키텍처를 사용하여 자연어 기반 Blender 코드 합성을 수행합니다.
• 전문가 검증된 멀티모달 데이터셋(50개 객 범주, 500개 예시)을 구축하여 모델의 학습 기반을 마련했습니다.
• 검색 메커니즘을 통해 LLM이 생성하는 코드를 보강함으로써 컴파일 성공률을 40.8%에서 70.0%로 개선했습니다.
• 별도의 미세 조정이나 특수 하드웨어가 필요 없어 즉시 배포가 용이합니다.