VLM은 엔지니어처럼 추론하는가? 벤치마크 및 단계별 평가

시각-언어 모델 (Vision-Language Models, VLMs)은 일반적인 멀티모달 추론 (multimodal reasoning) 벤치마크에서 강력한 성능을 보여주지만, 엔지니어링 추론 (engineering reasoning)을 수행하는 능력은 여전히 미개척 분야로 남아 있습니다. 일반적인 시각적 질의응답 (visual question answering)과 달리, 엔지니어링 문제 해결은 기술 도표 (technical diagrams)를 해석하고, 지배적인 물리 원리 (governing physical principles)를 선택하며, 물리적으로 일관된 다단계 추론 (multi-step reasoning)을 유지하는 것을 요구합니다. 이러한 능력은 엔지니어링 교육, 과학적 보조, 기술적 의사결정에 사용되는 AI 시스템에서 점점 더 중요해지고 있으며, 추론 실패가 물리적으로는 유효하지 않지만 표면적으로는 그럴듯해 보이는 해결책을 만들어낼 수 있기 때문입니다. 기존의 벤치마크들은 주로 최종 정답을 평가하며, 중간 추론 과정에 대한 평가는 제한적입니다. 우리는 696개의 문제를 포함하는 5개의 엔지니어링 과목에 걸쳐 엔지니어링 추론을 평가하기 위한 멀티모달 벤치마크인 EngVQA를 소개합니다. 또한 VLM이 생성한 해결책을 평가하기 위한 8단계 자동 평가 프레임워크를 도입합니다. 이 프레임워크는 해결책의 각 단계를 독립적으로 평가하여 추론 실패에 대한 세밀한 분석 (fine-grained analysis)을 가능하게 합니다. 우리는 우리의 평가 프레임워크를 통해 여러 최첨단 (state-of-the-art) 오픈 소스 및 폐쇄형 소스 VLMs를 벤치마킹하였으며, 현재의 엔지니어링 추론 능력에 상당한 한계가 있음을 입증했습니다. 인간 평가 (Human evaluation) 결과, 우리의 자동화된 프레임워크와 높은 일치도를 보였으며, 10점 척도 기준으로 피어슨 상관계수 (Pearson correlation) 0.975와 평균 절대 오차 (mean absolute error) 0.67를 달성했습니다. 우리의 결과는 멀티모달 엔지니어링 추론 시스템의 신뢰할 수 있는 평가를 위해 과정 중심적 평가 (process-oriented evaluation)가 중요하다는 점을 강조합니다.