ASCIITermDraw-Bench: 모델이 실제로 ASCII로 그림을 그릴 수 있을까? 우리가 아키텍처, 토폴로지, N개의 노드로 구성된 클러스터에 대한 생각을 전달하는 데 정말 이미지 생성기가 필요할까?
우리가 만든 창작자들(creators)이 큰 어려움 없이 AI 비서들에게 쉽게 흡수하고 이해하며 변경 사항을 가능하게 할 수 있는 것이 가능할까요? 그 답은 다음과 같을 수 있습니다: 단순하고 평범한 ASCII 이미지입니다.
이에 따라, 우리는 최첨단 Vision Language Models(VLM)가 지침을 따르고, 인식하며, ASCII 기반 이미지를 그리는 능력에 대해 평가하는 벤치마크인 ASCIITermDraw를 소개합니다. 대부분의 벤치마크는 코딩, 수학, 추론에 초점을 맞추지만, ASCIITermDraw-Bench는 다른 능력을 평가합니다: 모델이 순수 텍스트만을 사용하여 정확한 다이어그램을 생성할 수 있는지 여부입니다. 이는 생각보다 어렵습니다. 모델들은 종종 다이어그램을 올바르게 설명할 수는 있지만, 상자(boxes), 레이블(labels), 연결선(connections), 화살표(arrows)를 정밀하게 배치하는 것은 별개의 도전 과제입니다.
이 벤치마크는 네 가지 영역에 걸쳐 총 80개의 태스크를 포함합니다:
- 기본 상자 및 레이아웃 (Basic Box and layouts)
- 네트워크 토폴로지 (Network topologies)
- 소프트웨어 아키텍처 다이어그램 (Software architecture diagrams)
- 이미지 기반 다이어그램 편집 (Image-conditioned diagram editing): 모델이 변경을 요청받은 부분 외의 모든 것을 보존하면서 제공된 다이어그램을 수정해야 하는 태스크입니다.
태스크들은 여러 난이도 수준에 걸쳐 있으며 일관된 형식을 따르므로, 카테고리와 모델 전반에 걸쳐 결과를 비교할 수 있습니다. 평가 시 각 응답은 두 가지 점수를 받습니다:
- 구조적 점수(structural score): 필수 레이블, 엣지(edges), 엔티티(entities), 관계를 검증합니다.
- 의미론적 점수(semantic score): LLM 심사관이 생성하며, 심사관의 변동성을 줄이기 위해 태스크당 다섯 번 평가됩니다. 결과는 모든 80개 태스크에 걸쳐 집계되며, 최종 점수에 대해 95% 신뢰 구간이 계산됩니다. 이는 단순히 다이어그램이 올바르게 보이는지에 의존하는 것보다 더 엄격한 측정 기준을 제공합니다.
현재 리더보드는 다음과 같습니다: Gemma-4-31B-IT — 73.8% (±4.1), Qwen3.7-Plus — 70.2% (±4.6), Kimi-K2.6 — 61.8% (±6.0), MiniMax-M3 — 59.5% (±6.3), Qwen3.5-9B — 47.0% (±6.4), Ternary-Bonsai-27B — 45.9% (±7.1). 벤치마크의 12가지 예시 작업과 전체 방법론은 Hugging Face에서 공개적으로 이용 가능합니다. 작업 형식을 검토하고, 평가 과정을 살펴보고, 직접 벤치마크를 실행해 볼 수 있습니다. /u/East-Muffin-6472가 제출한 링크 [link] [comments]
