GLM-5.3 (open-weight)가 Anthropic/OpenAI 모델을 능가하다 – 비용은 1/5 수준

대부분의 리더보드는 순수한 지능만을 평가합니다. 하지만 우리는 glm-5.3 모델이 어떻게 적용되는지에 더 관심이 있습니다. 다섯 가지 작업 카테고리에서 약점이 없고, 9.3점의 루브릭을 달성했으며, 라운드당 비용은 $0.28에 불과합니다. 이 모델은 open-weights이며 즉시 사용할 수 있습니다.

전체 선택 사항과 주의사항은 여기를 확인하세요.

새로운 제공업체를 도입하기 전에 반드시 컴플라이언스 팀의 검토를 받으세요.

작동 방식은 무엇인가요?

면책 조항: 만약 범용적인 지능 순위를 원한다면 Artificial Analysis 또는 LMArena를 읽어보세요. 소프트웨어 엔지니어 워크로드를 위해서는 DeepSWE가 확실한 벤치마크입니다.

Featherbench의 질문은 모든 것을 아우르는 단 하나의 모델을 찾을 수 있는가 하는 것입니다. 즉, 우리의 일상적인 작업 라운드 다섯 가지 코너 모두에서 충분히 잘 처리할 수 있는 모델 – 보안성이 높고, 빠르며, 비용 효율적인 모델 말입니다. 이를 답변하기 위해, 우리는 최신 모델들을 코딩, 데이터 추출, 일상 요청, 도구 사용, 프롬프트 주입 및 탈옥(jailbreak) 방어에 이르는 동일한 28가지 고정된 작업을 거치게 합니다. 모델이 특정 작업에서 통과하려면 결정론적 검사기(deterministic checker)가 사용 가능한 결과를 생성했음을 확인해야 합니다.

이러한 작업들은 의도적으로 단순하고 범위가 제한되어 있으며, 저희 창립자 Ed가 실제로 수행하는 일상 업무에서 가져온 것입니다. 이것이 여러분이 OpenRouter 계정과 약 $30으로 전체 벤치마크를 재현하거나 자신만의 작업에 맞춘 버전을 실행할 수 있게 해줍니다. 가치는 발표된 지 몇 분 만에 새로운 모델을 대상으로 다시 실행할 수 있다는 점에 있습니다.

솔직히 말해서, 새로운 모델이 발표될 때마다 여러분은 가장 좋아하는 '바이브 테스트'를 진행하곤 합니다. Simon Willison은 각 모델에게 자전거를 타는 펠리컨의 SVG 이미지를 요청하는 식입니다. 이것은 더 엄격하고 더 넓은 범위로 동일한 아이디어입니다.

정답을 선택하는 라우팅(routing)이 아닙니까? 많은 기업들에게는 그렇습니다. 하지만 라우터는 불투명성, 그리고 개발 및 관찰 가능성 측면에서 복잡성을 추가합니다. 만약 하나의 모델이 모든 것을 아우른다면, 여러분은 라우터의 복잡성이 전혀 필요하지 않습니다.

현재 결과 다운로드 (CSV) · 날짜가 지정된 소스 실행 스냅샷 다운로드 (CSV). 통과율 및 보안 점수는 백분율이며, TTFT(Time to First Token)와 E2E 지연 시간은 초 단위로 측정되었고, 비용은 미국 달러($) 기준입니다. 각주 표시는 아래의 주석에 해당합니다.

본 연구를 인용하려면: Yau, E., The Ed-o-meter, Reinvently. 데이터를 재사용할 때는 소스 실행 식별자 및 접근 날짜를 포함하고, 점수 산정의 한계를 명시해야 합니다. 재사용 및 출처 표기 방법을 참조하십시오.

| # | Model | |||||||
|---|---|---|---|---|---|---|---|
| 1 | 100% [88–100] | 8.86 | 100% | 22.0 s | 24.5 s | $0.092 | $0.0033 | |
| ... |

이러한 수치가 산출된 방식에 대한 아홉 가지 주의사항

1 Rubric은 fable-5가 저장된 답변 텍스트를 대상으로 2026년 7월 14일에 소급하여 점수를 매긴 것입니다. 이는 harness의 자체 run_rubric 경로를 통해 이루어졌으며, 다른 모든 행과 동일한 블라인드 프롬프트와 기준을 사용했습니다.

2 fable-5의 9.3은 자체 평가입니다. 즉, 판단자가 자신의 답변에 점수를 매긴 것입니다. 이 모델의 소스 실행에서 나온 판단 편향 행렬(judge-bias matrix)을 보면, 독립적으로 판단하는 다른 모델들에 대해서는 8.6–8.7점을 준 반면 자신에게는 9.3점을 주었음을 알 수 있습니다. 또한 이는 이전 실행(2026년 7월 5일 실행, 총 28회 시도 중 11회 평가)에서 나온 유일한 수치입니다. 현재 실행의 어떤 시도도 아직 평가되지 않았기 때문에 표시된 것입니다. 완전성을 위해 보여주는 것이며, 독립적인 재평가가 이루어지기 전까지는 같은 기준의 숫자로 간주해서는 안 됩니다.

3 Recipe-checker의 오탐(false-positive)입니다. 채식 주중 저녁 식사 레시피에서 금지된 용어 검사기가 재료가 아닌 언급(

4 fable-5, fable-5-1 및 opus-5에 대한 답변 시도만을 기준으로 계산된 작업당 비용 — 거부되거나 차단된 시도는 $0의 거의 제로 출력을 발생시키므로, 이를 포함하면 모델이 인위적으로 간결하고 저렴해 보이게 만듭니다 (fable-5는 트라이얼당 $0.0481; opus-5는 $0.0597). opus-5의 헤드라인 실행 비용인 $1.67은 모든 시도를 포함한 실제 총비용입니다: 차단된 시도는 $0으로 청구되었습니다. fable-5-1은 한 번의 거부를 포함하며, 답변 시도에 대한 작업당 비용은 $0.0991로, 28개 전체를 기준으로 할 때 $0.0955입니다.

5 fable-5-1의 9.5는 자가 평가된 수치입니다 — 동일 모델 라인인 fable-5가 점수를 매겼으며, 28개 시도 중 단 12개만 평가되었습니다. 각주 2에 설명된 심사관 편향 패턴이 여기에도 적용됩니다. 이는 참고용으로 제시되었으며, 독립적으로 평가된 행들과 직접 비교할 수 있는 수치는 아닙니다.

6 세 개의 새로운 행은 두 번의 단일 시도, 루브릭 기반 Featherbench 실행에서 가져온 것입니다: 20260912T171101Z의 deepseek-v4.1-flash와 20260912T185245Z의 gemini-3.8-flash 및 gpt-6-astra입니다. 세 모델 모두 28개의 작업을 사용했으며, fable-5에 의해 14개 루브릭 적용 작업에 대해 독립적으로 평가되었습니다. DeepSeek은 8.8 루브릭과 100% 점수, 중앙값 TTFT(Time to First Token) 22.0초, 작업당 $0.0033을 기록했습니다. Gemini는 8.9 루브릭과 93% 점수, TTFT 9.3초, 작업당 $0.0097을 기록했습니다. Astra는 8.6 루브릭과 96% 점수, TTFT 11.4초, 작업당 $0.0550을 기록했습니다. 비용은 목록 요율(list rate)로 명시되었습니다. 정확한 고정 경로(pinned routes), 설정 및 원본 소스 파일은 Featherbench 각주 21–22에 기록되어 있습니다.

7 Gemini 3.7 Flash의 비용이 목록 요율로 수정되었습니다. 8월 22일 실행 건은 Gemini 3.8 Flash 요율의 절반($0.375 / $1.875 백만 입력/출력 토큰)로 청구되었습니다. 공통 목록 요율인 $0.75 / $3.75를 기준으로 28개 답변을 재계산한 결과, 총 실행 비용은 $0.211644로 표시된 $0.21이며 작업당 $0.0076입니다. 원본 실행 건은 변경되지 않았으며, 게시된 요약 비용만 수정되었습니다.

8 9월 22일 추가된 항목에 대한 부분적인 루브릭 커버리지. Opus 5.5는 총 28개 중 13개의 테스트를 평가받았고, GPT-6 Luna, GPT-6 Sol 및 Grok 4.7은 각각 28개 중 14개를 평가받았습니다. 나머지 테스트는 루브릭 점수가 없으므로, 이 품질 수치는 완전히 평가된 실행과는 비교할 수 있는 지표가 아니라 참고용입니다. 네 가지 실행 모두 하나의 테스트로 동일한 28가지 작업을 다루었으며, 정확한 경로(routes), 설정(settings) 및 원본 기록은 Featherbench 이슈 #74, #75, #76 및 #77에 기록되어 있습니다. Grok 4.7의 $0.40 실행 비용은 28개의 소스 기록에서 발생했으며, 생성된 실행 요약 보고서는 일관성 없는 $0.30을 보고합니다.

9 Claude Haiku 5.5의 단일 테스트 실행. 정확한 Anthropic 경로는 모든 28개 작업을 완료했으며, fable-5에 의해 14개의 루브릭 점수 부착 작업이 평가되었습니다. 이 모델은 [88–100]에서 100%를 기록했고, 9.2의 루브릭 점수, 중앙값 TTFT(Time To First Token)는 5.7초, 중앙값 종단 간 지연 시간(end-to-end latency)은 5.8초, 청구 목록 요율(billed list rate)당 작업 비용은 $0.0015를 기록했습니다. 소스에서는 정확한 Unix 출신 공식임에도 불구하고 data-csv-mapping-customer을 false로 표시했으나, 이슈 #93에서 좁은 회귀 테스트 검사기 수정이 추가되었습니다. Featherbench는 원본 실행을 재작성하는 대신 passed_recorded: false와 변경된 작업 해시 감사 플래그(changed-task-hash audit flag)를 보존합니다.

코너별 한 바퀴 돌기

가장 최근에 추가된 모델들이 먼저 나타나며, 각 모델 아래에 최신 테스트 날짜가 표시됩니다. 이 트랙은 고정 순서로 다섯 개의 코너(Coding → Data → Realworld → Security → Tool-use)로 구성되어 있습니다. 한 코너의 색상은 해당 카테고리에서의 모델의 통과율을 나타냅니다. 녹색은 좋다는 의미이며, 85% 이상의 성공률을 뜻합니다. 모든 것을 할 수 있는 모델을 찾으려면 모든 부분이 초록색인지 확인하십시오. 각 고리 중앙에 있는 숫자는 작업당 모델 비용이며, 그 아래에는 중앙값 첫 토큰 시간(median time to first token)이 초 단위로 표시됩니다.

모든 세그먼트 위로 마우스를 올리거나 탭하면 해당 코너가 무엇을 테스트하는지, 그리고 모델이 어떻게 처리했는지 확인할 수 있습니다.

카테고리별 정확한 수치 확인하기

60% 미만인 셀은 빨간색으로 표시되고 60–85%는 주황색(amber)으로 표시됩니다. 코딩, 데이터, 도구 사용이 기본 구조를 이루므로, 경주는 실세계(realworld)와 보안(security)에서 결정됩니다.

| 모델 | Coding | Data | Realworld | Security | Tool-use |
| :---|

결과가 실제로 알려주는 것은 무엇일까요?

분야가 좁혀지고 있다

보드가 몰리고 있습니다: 현재 11개 모델이 96%로 동률을 이루고 있으며, 6개 모델은 코딩, 데이터, 실제 세계, 보안, 도구 사용 등 다섯 가지 영역 모두에서 100%를 달성했습니다. 이제는 통과율만으로는 이들을 구분할 수 없습니다. 벤치마커들은 이를 포화 상태(saturation)라고 부르며, 제 생각에는 이는 나쁜 일이 아닙니다. 더 많은 모델이 생산 시스템을 일관되게 유지하고 비용을 예측 가능하게 하는 단일 모델 설정에 충분히 좋다는 것을 의미합니다. Fable은 여전히 어렵고 해결되지 않은 문제에서 그 가치를 인정받지만, 일상적인 작업에서는 슈퍼마켓 장보기용 페라리 같습니다. 속도와 태스크당 비용이 이제 분야를 구분하는 주요 요소가 되면서, 시장은 상품화(commoditising)되고 있습니다.

모델을 하나만 사용한다면 haiku-5-5를 사용하라

6개 모델이 다섯 가지 영역 모두에서 100%를 달성했습니다: 코딩, 데이터, 실제 세계, 보안 및 도구 사용. haiku-5-5가 새로운 균형 잡힌 선택지입니다. 이 모델의 9.2 루브릭은 glm-5.3과 0.1 이내이며, 라프(lap) 비용은 $0.28이 아닌 $0.04이고, 중앙값 TTFT(Time To First Token)는 5.7초로 거의 세 배 더 빠릅니다.

Anthropic의 안전 분류기가 잘못된 이유로 주목받다

fable-5-1은 Fable 제품군 이름을 회복시키며 리더보드 상위권으로 끌어올렸지만, 여전히 코딩 작업 중 하나를 거부했습니다. Anthropic은 fable-5-1 릴리스 노트에서 이 문제를 인정하며, 생물학 분야에는 opus-5로, 사이버 보안 분야에는 opus-4.8로 대체(fallback)할 것을 권장했습니다. 저에게는 Anthropic이 버그가 있는 분류기를 출시하고 그 처리 책임을 우리에게 떠넘기는 것처럼 읽힙니다.

glm-5.3-flash가 저비용 작업용 워크호스다

glm-5.3-flash는 전체 라프에 $0.031, 즉 태스크당 $0.0004의 비용이 들고 중앙값 TTFT는 2.6초입니다. 일주일 내내 코딩해도 스타벅스 한 잔 값과 동일한 비용만 발생할 것입니다. 전반적으로 99%에 달하고 보안 분야에서는 100%를 기록하여, Luna와 haiku-4-5를 저비용 기본 모델로 대체합니다: 모든 지표에서 더 우수합니다. haiku-4-5는 여전히 첫 토큰까지의 속도(first token)가 0.9초로 빠르지만, 비용은 10배나 많이 들고 출력 품질이 낮습니다. Luna는 태스크당 다섯 배나 많은 비용이 들며 탈옥 취약점(jailbreak vulnerabilities)을 안고 있어 추가적인 가드레일 없이는 사용할 수 없습니다.

미스터리 게스트가 가장 빠른 품질의 기록을 세우다

kimi-k3는 opus-5-5 및 fable-5-1과 상위 9.5점 루브릭을 공유합니다. Kimi와 Opus는 fable-5에 의해 독립적으로 평가되었으며, fable-5-1의 점수는 자체 평가이므로 동등한 비교가 아닙니다 (각주 5). 대화형 사용을 위해 fable-5-1은 그럼에도 불구하고 직접 비교를 수행했습니다: kimi-k3의 중앙값 첫 토큰 시간(time-to-first-token)인 26.4초는 fable-5-1의 7.3초보다 세 배 이상 빠릅니다.

세 대의 차량이 충돌 테스트에 실패하다

gpt-5.6 라인은 빠르지만 안전 문제가 있습니다. gpt-5.6-luna, gpt-5.6-terra, 그리고 gpt-5.6-sol은 12개의 탈옥(jailbreak) 셀 중 11개에서 탈옥 카나리아를 방출했습니다 (보안 통과율 33–50%) — 이 모델들을 사용할 때는 반드시 보호 장치를 마련하고 더 신중한 레드 티밍(Red teaming)을 적용하십시오. Claude 삼총사와 gpt-5.5는 모두 6/6으로 깨끗하게 통과했습니다.

Ed-o-meter는 어떻게 점수가 매겨지나요?

모든 모델에 대해 동일한 프롬프트, 동일한 API 호출로 같은 작업을 실행합니다. 이는 하나의 동일한 OpenRouter 스트리밍 경로를 통해 순차적으로 시간 측정(time-trial) 방식으로 측정됩니다. 트랙 위의 다른 차량은 없습니다.**레이턴시(Latency)는 첫 토큰까지 걸리는 시간(time-to-first-token)**이며, 시계를 오염시키지 않도록 하나의 동일한 OpenRouter 스트리밍 경로를 통해 순차적으로 측정됩니다. 벽시계 시간(Wall-clock)도 함께 기록됩니다.**체커(Checkers)는 이진적이고 자동화되어 있습니다.**LLM 루브릭이 유일하게 평가되는 구성 요소이며 — 그 편향성은 가정되지 않고 각주에 명확히 드러납니다.**노력 및 추론 설정은 models.json에서 고정되며, 품질과 비용을 실질적으로 변화시키기 때문에 어떤 공개된 수치와도 함께 제시되지 않습니다.**거절(Refusals)은 숨겨지지 않고 기록됩니다.**제공자 측의 하드 스톱(hard stop)은 그 카테고리와 함께 거절로 기록되며 — 다른 모델에서 조용히 재시도되지 않습니다. 라우팅은 allow_fallbacks:false로 고정되어, 양자화된 변형물에서 조용한 재서비스가 일어나지 않도록 합니다. 산문(prose)에서 성능이 저하되는 모델은 다른 답변과 마찬가지로 체커에 의해 점수가 매겨집니다.

Harness, 작업 및 체커는 Featherbench (MIT)에서 오픈 소스입니다. 직접 클론하여 기록을 실행하거나 GitHub 이슈를 통해 새로운 모델을 요청하십시오.

모든 28개 작업을 보기

코딩(Coding) (7 · Python)

CSV 중복 제거(dedupe) — 작고 명확하게 정의된 태스크이며 결정론적 단위 테스트 검사기가 적용됨디버그 청구 날짜(billing date) — 월/일 오버플로우 날짜 버그를 수정하되, 정상 작동 케이스는 퇴보시키지 않음디버그 금액 분할(money split) — 정수 페니(pennies) N개로 나누어 각 지분이 정확히 합산되고 공평하게 유지되도록 함디버그 가변 기본값(mutable default) — 고전적인 가변 기본 인자(mutable-default-argument) 버그를 수정함디버그 페이지네이션(pagination) — 오프-바이-원(off-by-one) 페이지 카운트 버그를 수정함로그 파싱(Log parsing) — 따옴표가 포함된 로그, 누락된 필드, IPv6 엣지 케이스로 로그를 파싱함레이트 리미터(Rate limiter) — 주 상태 클래스 구현을 주입된 가짜 시계(fake clock)와 테스트함

데이터 (Data) (4)

CSV 스키마 매핑(schema mapping) — 원시 CRM 내보내기 데이터를 정형화된 고객 차원(customer dimension)에 매핑함패브릭 로드맵(Fabric roadmap) — 카탈로그, 매핑 및 요구사항을 단계별 사용자 스토리 로드맵으로 전환함인터뷰 기반 데이터 모델링(Data model from interview) — 이해관계자 녹취록에서 스타 스키마 모델과 요구사항을 도출함데이터 품질 평가(Data quality assessment) — 작은 테이블에 심어진 결함을 포착하고 수정 우선순위를 정함

실제 사례 (Realworld) (9)