BenchCAD: 프로그램 기반 산업 표준 CAD를 위한 포괄적인 벤치마크

산업용 컴퓨터 지원 설계(CAD) 코드 생성은 모델이 시각적 또는 텍스트적 입력으로부터 실행 가능한 파라메트릭 프로그램을 생성하도록 요구합니다. 단순히 부품의 외형을 인식하는 것을 넘어, 이 작업은 그 3D 구조를 이해하고, 공학적 매개변수를 추론하며, 해당 부품이 어떻게 설계되고 제조될지 반영하는 CAD 작업을 선택하는 것을 포함합니다. 멀티모달 대규모 언어 모델(MLLMs)이 이 작업에 대한 잠재력을 보여주고 있음에도 불구하고, 이러한 기능들이 실제 산업용 CAD 환경에서 공동으로 유지되는지에 대해서는 거의 평가되지 않았습니다. 저희는 산업용 CAD 추론을 위한 통합 벤치마크인 BenchCAD를 제시합니다. BenchCAD는 베벨 기어(bevel gears), 압축 스프링(compression springs), 트위스트 드릴(twist drills) 등 재사용 가능한 공학 설계가 포함된 106가지 산업 부품군에 걸쳐 17,900개의 실행 검증된 CadQuery 프로그램을 담고 있습니다. 이 벤치마크는 시각적 질의 응답(visual question answering), 코드 질의 응답(code question answering), 이미지-투-코드 생성(image-to-code generation), 그리고 명령어 기반 코드 편집(instruction-guided code editing)을 통해 모델을 평가하며, 인식(perception), 파라메트릭 추상화(parametric abstraction), 실행 가능한 프로그램 합성(executable program synthesis) 전반에 걸쳐 세밀한 분석을 가능하게 합니다. 10개 이상의 최첨단 모델을 대상으로 한 BenchCAD의 결과는 현재 시스템들이 종종 거친 외형 기하학은 복구하지만, 충실한 파라메트릭 CAD 프로그램을 생성하는 데 실패한다는 것을 보여줍니다. 일반적인 실패 사례로는 미세 3D 구조 누락, 산업 설계 매개변수 오해석, 그리고 스윕(sweeps), 로프트(lofts), 트위스트-익스트루드(twist-extrudes)와 같은 필수 작업을 단순한 스케치 및 익스트루드 패턴으로 대체하는 것 등이 있습니다.

파인튜닝(fine-tuning)과 강화학습(reinforcement learning)은 인분포(in-distribution) 성능을 향상시키지만, 보지 못한 부품군에 대한 일반화는 여전히 제한적입니다. 이러한 결과들은 BenchCAD를 멀티모달 CAD 자동화의 산업 준비도(industrial readiness)를 측정하고 개선하기 위한 벤치마크로 자리매김하게 합니다.