ASCIITermDraw-Bench 결과가 발표되었습니다. SOTA (State-of-the-Art) VLM (Vision Language Models)을 벤치마킹한 결과입니다: 오늘날 사용 가능한 가장 강력한 모델들조차 여전히 일반 텍스트로 간단한 다이어그램을 안정적으로 그리지 못합니다. 아키텍처(architecture), 토폴로지(topology), 혹은 N개의 노드로 구성된 클러스터(cluster)에 대한 우리의 생각을 전달하기 위해 정말로 이미지 생성기가 필요할까요? 우리의 AI 어시스턴트가 우리가 창작자로서 큰 번거로움 없이 쉽게 전달하는 변경 사항을 쉽게 흡수하고 이해하며 실행할 수 있도록 만드는 것이 가능할까요? 그 답은 단순하고 오래된 ASCII 이미지일 수 있습니다.

현재 리더보드 (80개 태스크):
순위 | 모델 | 파라미터 (Params) | 최종 점수 (Final Score) | 구조적 (Structural) | 의미적 (Semantic)
1 | qwen3.7-max | 미공개 | 77.2% ±4.0 | 86.5% | 68.0%
2 | gemma-4-31b-it | 31B | 73.8% ±4.1 | 84.3% | 63.4%
3 | glm-5.2 | 743B / 39B active | 70.6% ±5.0 | 80.5% | 60.7%
4 | qwen3.7-plus | 미공개 | 70.2% ±4.6 | 80.2% | 60.1%
5 | deepseek-v4-pro | 1.6T / 49B active | 68.0% ±4.7 | 77.2% | 58.8%
6 | kimi-k2.6 | 1T / 32B active | 61.8% ±6.0 | 70.2% | 53.5%
7 | kimi-k2.7-code | 1T / 32B active | 61.6% ±7.0 | 69.9% | 53.2%
8 | minimax-m3 | 428B / 23B active | 59.5% ±6.3 | 69.4% | 49.6%
9 | nemotron-3-ultra-550b-a55b | 550B / 55B active | 57.4% ±6.8 | 64.3% | 50.5%

세계 최고의 모델조차 여전히 4개 태스크 중 거의 1개꼴로 실패합니다. 구조적 정확도(Structural accuracy)는 더 높지만, 적절한 레이아웃(layout), 간격(spacing), 그리고 라우팅(routing)을 요구하는 순간 성능이 무너집니다. 수천억 개 또는 심지어 수조 개의 파라미터를 가진 모델들도 여전히 깨지거나, 정렬이 어긋나거나, 불완전한 다이어그램을 생성합니다. 이것은 모호한 학술적 과제가 아닙니다. 이것은 스크린샷이나 Mermaid 없이도 신뢰할 수 있는 인간-AI 협업에 정확히 필요한 기술인, 일반 텍스트로 아키텍처, 토폴로지, 그리고 시스템 설계를 전달하는 기본적인 능력입니다. 만약 프런티어 모델(frontier models)이 상자와 화살표를 일관되게 정확히 그릴 수 없다면, 정밀함이 요구되는 상황에서 Vision Language Models의 "비전(vision)"은 실제로 얼마나 작동하고 있는 것일까요?

전체 결과, 방법론 및 예시: [link]
/u/East-Muffin-6472 제출 [link] [comments]