CADBench: AI 지원 CAD 프로그램 생성을 위한 멀티모달 벤치마크

이미지나 3D 관찰 자료로부터 편집 가능한(editable) CAD 프로그램을 복구하는 것은 AI 기반 설계의 핵심이지만, 기존 평가들이 데이터셋, 모달리티, 지표별로 파편화되어 있어 진척도를 측정하기 어렵습니다. 이에 우리는 멀티모달 CAD 프로그램 생성을 위한 통합 벤치마크인 CADBench를 소개합니다. CADBench는 DeepCAD, Fusion 360, ABC, MCB, Objaverse에서 파생된 여섯 가지 벤치마크 패밀리에서 나온 18,000개의 평가 샘플을 포함하며, 깨끗한 메시(clean meshes), 노이즈가 있는 메시(noisy meshes), 단일 뷰 렌더링(single-view renders), 포토리얼리스틱 렌더링(photorealistic renders), 멀티뷰 렌더링 등 다섯 가지 입력 모달리티를 다룹니다. 또한 기하학적 충실도(geometric fidelity), 실행 가능성(executability), 프로그램 간결성(program compactness)을 포괄하는 여섯 가지 지표를 포함합니다. STEP 기반 패밀리는 B-rep 면 개수별로 계층화되어 있으며, 모든 패밀리는 복잡성과 객체 변화에 걸쳐 통제된 분석을 지원하도록 다양하게 샘플링되었습니다. 우리는 11개의 CAD 특화 및 범용 비전-언어 시스템(vision-language systems)을 벤치마크하고 140만 개 이상의 CAD 프로그램을 생성했습니다. 이상적인 입력 조건 하에서, 전문 메시-투-CAD 모델이 코드 생성 VLMs보다 현저히 우수하며, 이들 VLM은 신뢰할 수 있는 CAD 프로그램 재구성에 여전히 거리가 있습니다. 또한 CADBench는 세 가지 반복되는 실패 모드를 밝혀냅니다: 기하학적 복잡도가 높아질수록 재구성 품질이 저하되고, CAD 특화 모델은 모달리티 변화에 취약하며, 메트릭별로 모델 순위가 달라진다는 것입니다. 종합적으로 이러한 결과들은 CADBench를 편집 가능한 3D 재구성과 멀티모달 CAD 이해의 진척도를 측정하는 진단 테스트베드(diagnostic testbed)로 자리매김하게 합니다.

해당 벤치마크는 https://huggingface.co/datasets/DeCoDELab/CADBench에서 공개적으로 이용 가능합니다.