AI가 과학을 그릴 수 있는가? 텍스트-이미지(Text-to-Image) 및 멀티모달 모델의 과학적 도식 생성 평가를 위한 벤치마크

텍스트-이미지(Text-to-image) 및 멀티모달 생성 모델은 메커니즘 다이어그램, 실험 설계 도식, 개념적 프레임워크, 그래픽 초록(graphical abstracts)과 같은 과학적 도식을 생성하는 데 점점 더 많이 사용되고 있습니다. 그러나 기존의 이미지 생성 벤치마크(예: GenEval, T2I-CompBench, DPG-Bench)는 자연 이미지를 평가하며 구성성(compositionality), 객체 수 세기(object counting) 또는 사진 실사성(photorealism)을 측정합니다. 이 중 생성된 과학적 도식의 사용 가능성을 결정짓는 요소들, 즉 정확하고 읽기 쉬운 텍스트 레이블, 엔티티(entities)와 그 관계의 충실한 묘사, 일관된 도식적 구조, 그리고 학문적 드로잉 관례(disciplinary drawing conventions)의 준수 여부를 측정하는 벤치마크는 없습니다. 우리는 8가지 도식 유형과 10가지 학문 분야를 아우르는 32개의 구조화된 과학적 도식 생성 태스크로 구성된 벤치마크인 SciDraw-Bench를 소개합니다. 각 태스크는 자연어 프롬프트와 함께 요구되는 레이블, 관계, 구성 요소, 관례 및 부정적 제약 조건(negative constraints)에 대한 기계 검증 가능한 명세(specification)를 쌍으로 제공합니다. 우리는 텍스트 충실도(Text Fidelity; OCR 기반 레이블 재현율 및 문자 오류율), 의미적 정확성(Semantic Correctness; 명세에 따른 시각-언어 모델(vision-language-model)의 판정), 구조적 품질(Structural Quality), 그리고 관례 준수(Convention Adherence)라는 4차원 평가 프로토콜을 제안하며, 이와 함께 메타 평가 프로토콜 및 예비 판정자 간 신뢰도 분석(인간 평가 검증 진행 중)을 제공합니다. 우리는 도메인 특화 시스템인 SciDraw AI를 대표적인 범용 텍스트-이미지 모델들과 비교 평가하였으며, 향후 확장 계획으로 코드-도식(code-to-figure) 베이스라인을 개설합니다. 8가지 도식 유형 전체에 대한 파일럿 테스트 결과, 도메인 특화 시스템은 모든 차원과 도식 유형에서 범용 베이스라인을 실질적으로 능가하였으며, 의미적 정확성과 관례 준수에서 가장 큰 격차를 보였습니다. 텍스트 충실도는 모든 시스템에 있어 여전히 가장 어려운 차원으로 남아 있습니다.