BenchCAD: 프로그램 기반 산업 표준 CAD를 위한 포괄적인 벤치마크

요약

BenchCAD는 산업용 컴퓨터 지원 설계(CAD) 코드 생성 능력을 평가하기 위해 개발된 포괄적인 통합 벤치마크입니다. 이 벤치마크는 베벨 기어, 스프링 등 106가지 공학 부품군에 걸쳐 17,900개의 실행 가능한 CadQuery 프로그램을 포함하고 있습니다. BenchCAD는 시각적 질의 응답부터 코드 편집까지 다양한 방식으로 모델을 평가하여, 현재 최첨단 모델들이 외형 인식은 가능하지만 실제 산업 표준 CAD 프로그램 합성에는 어려움을 겪고 있음을 보여줍니다.

핵심 포인트

• BenchCAD는 106개 부품군과 17,900개의 실행 가능한 CadQuery 프로그램을 포함하는 포괄적인 CAD 벤치마크이다.
• 이 벤치마크는 시각적 이해(VQA), 코드 생성(Image-to-Code), 코드 편집 등 다차원적인 평가를 통해 모델의 능력을 측정한다.
• 현재 AI 모델들은 부품의 외형 기하학은 어느 정도 복구하지만, 공학적 매개변수 추론과 필수 CAD 작업 합성에는 실패하는 경향이 있다.
• BenchCAD는 멀티모달 CAD 자동화 시스템의 산업 현장 적용 가능성(industrial readiness)을 측정하고 개선하기 위한 표준 도구로 자리매김할 것이다.