Parametric CAD Bench v3: 텍스트 및 엔지니어링 도면을 이용한 에이전트 기반 파라메트릭 CAD 작성 평가

요약

본 글은 에이전트 기반 파라메트릭 CAD 작성 능력을 평가하는 새로운 벤치마크인 Parametric CAD Bench v3를 소개합니다. 이 벤치마크는 텍스트 생성 및 엔지니어링 도면 재구성 등 총 100개의 태스크로 구성되어 있습니다. 평가는 단순 스크립트 생성을 넘어 기하학적 형태, 치수, 네이티브 모델링 이력까지 고려하여 시스템 전체의 성능을 측정합니다.

핵심 포인트

• Parametric CAD Bench v3는 텍스트 생성 및 도면 재구성 등 총 100개 태스크로 구성됩니다.
• 평가 지표는 기하학적 유사성과 사양 일관성을 결합한 평균 연속 태스크 보상을 사용합니다.
• 에이전트는 FreeCAD 환경에서 작동하며, 네이티브 CAD 아티팩트를 제출해야 합니다.
• Claude Code와 Claude Opus 5.5 조합은 높은 종합 점수(61.03%)를 달성했습니다.