생성형 3D 시스템을 확장하는 데 있어 자동화된 평가는 필수적입니다. 왜냐하면 포괄적인 인간 검토는 비용이 많이 들고 느리기 때문입니다. 하지만, 자동화된 심판의 신뢰성은 단순히 기반이 되는 비전-언어 모델(VLM)뿐만 아니라, 에셋이 어떻게 렌더링되는지, 어떤 시각적 증거가 제공되는지, 작업이 어떻게 명시되는지, 그리고 인간 참조 레이블이 어떻게 구성되는지에 달려 있습니다. 우리는 VLM 기반의 3D 결함 탐지 파이프라인을 체계적으로 분석하기 위한 벤치마크이자 프레임워크인 3D-DefectBench를 소개합니다. 이는 전체적인 평점 및 쌍별 선호도에 더하여, 기하학(geometry), 질감(texture), 그리고 프롬프트 준수(prompt adherence)에 걸친 아홉 가지의 미세한 이진 결함을 제공하며, 생성기 개발과 심판 평가를 위한 실행 가능한 진단 정보를 제공합니다. 균형 잡힌 요인 설계(balanced factorial design)를 사용하여, 우리는 VLM, 카메라 프로토콜, 시각적 입력, 그리고 프롬프트 스키마라는 네 가지 파이프라인 요인을 84개의 추론 설계와 약 320만 개의 점수화된 결함 결정에 걸쳐 변화시켰고, 이후 더 광범위한 최첨단 모델 세트에서 단계별 검증을 수행했습니다. 모델 선택이 인간 레이블과의 일치도를 결정하는 가장 큰 요인이지만, 나머지 요인들 역시 성능에 영향을 미치고, 모델 선택과 상호작용하며, 최고의 구성을 바꿀 수 있습니다. 평가된 설계 공간 내에서, 간결한 6뷰 RGB 프로토콜은 더 밀집된 다중 뷰 설정이나 깊이 또는 표면 법선(surface normals)으로 증강된 입력과 비교할 만한 성능을 보여주어 비용 효율적인 기본값으로 강력합니다. 이 표준화된 파이프라인 하에서, 최고의 12개 VLM 심판조차도 훈련된 인간 레이블러에 미치지 못하며, 질감 일치도는 전문가 합의 레이블(expert-consensus labels)이 더 노이즈가 많은 실버 레이블(silver labels)로 대체될 때 급격히 떨어집니다. 이러한 발견들은 자동화된 심판들이 독립적인 모델로서만 벤치마킹되기보다는 완전한 파이프라인으로 평가되고 인간 참조 체제 전반에 걸쳐 보정되어야 함을 보여줍니다. 우리는 레이블, 프롬프트, 예측 및 Croissant 메타데이터를 Hugging Face에 공개합니다.