이 비교는 "어느 쪽이 절대적으로 강한가"를 결정하는 기사가 아닙니다. 실제 API 호출에서 GLM-5.2는 출력 예산 (output budget)을 늘리면 수학·물리 추론을 올바르게 반환했습니다. 반면 Claude Fable 5는 낮은 예산에서도 짧고 안정적이었으며, 긴 HTML 애니메이션에서는 더 확실하게 완수했습니다.

테스트는 채팅 UI 대신 Crazyrouter의 OpenAI 호환 API를 사용했습니다. 이는 결과가 단순히 문장 품질로만 판단되지 않았기 때문에 중요합니다. 각 응답은 다음과 같은 운영 메타데이터 (operational metadata)로 확인되었습니다:

Base URL: https://cn.crazyrouter.com/v1
Endpoint: POST /v1/chat/completions
Models: glm-5.2, claude-fable-5
...

중요한 필드는 max_tokens, completion_tokens, reasoning_tokens, finish_reason, 가시적 콘텐츠 길이 (visible content length), 생성된 HTML이 닫혔는지 여부, 그리고 애니메이션이 브라우저에서 실제로 움직이는지 여부였습니다.

벤치마크는 의도적으로 세 가지 작업 유형을 혼합했습니다:

작업 (Task)	목적 (Purpose)	참조 결과 (Reference result)
MATH-003	상태 기반 기대 추론 (State-based expectation reasoning)	HH가 6이 될 때까지의 예상 뒤집기 횟수
PHYS-003	운동량 및 에너지 계산 (Momentum plus energy accounting)	V = 3.0 m/s, x ≈ 0.148 m
CODE-003-ANIM	긴 실행 가능한 아티팩트 생성 (Long runnable artifact generation)	800x500 Canvas 애니메이션 HTML 완성

처음 두 작업은 추론 (reasoning)을 측정했습니다. 세 번째 작업은 모델이 단순히 그럴듯한 부분적 코드 블록을 만드는 것이 아니라, 완전한 아티팩트 (artifact)를 생성할 수 있는지를 측정했습니다.

작업 (Task)	glm-5.2	claude-fable-5
수학, 원래 예산	finish_reason=length, completion_tokens=1601, reasoning_tokens=1600, 가시적 본문 비어 있음	finish_reason=stop, 완전하고 정확함
수학, 재테스트	max_tokens=3200 이후 정확함	재테스트 불필요
물리, 원래 예산	finish_reason=length, 가시적 본문 비어 있음	완전하고 정확함
물리, 재테스트	max_tokens=8000 이후 정확함	재테스트 불필요
애니메이션, 원래 예산	max_tokens=3200에서 가시적 HTML 비어 있음	부분적 HTML, 잘림 (truncated)
애니메이션, 재테스트	max_tokens=8000에서도 여전히 잘림	완전한 HTML; 브라우저 검증 통과

가장 중요한 관찰 결과는 GLM-5.2가 추론 (reasoning) 자체에 실패한 것이 아니라는 점입니다. 수학 및 물리 작업에서 GLM-5.2는 더 큰 출력 예산 (output budget)을 할당했을 때 정확한 정답을 생성했습니다. 문제는 가시성과 완성도였습니다. 즉, 요청이 HTTP 200을 반환하더라도 사용자에게 보이는 콘텐츠는 비어 있거나 불완전할 수 있다는 점입니다.

긴 Canvas 애니메이션의 경우, 그 차이가 더욱 극명했습니다. GLM-5.2는 max_tokens=8000 [IMG:1]에서 눈에 보이는 HTML 조각을 생성했지만, JavaScript 내부에서 멈춰버려 파일을 닫지 못했습니다. 반면 Claude Fable 5는 max_tokens=8000 [IMG:2]에서 HTML을 완성했습니다. 브라우저 검증 결과 콘솔 에러가 없었으며, 800x500 크기의 canvas, 컨트롤러, 속도 슬라이더, 그리고 700ms 후의 changedPixels=55090 [IMG:3]를 확인할 수 있었습니다.

집필 시점에서 Crazyrouter의 가격 API는 glm-5.2 [IMG:4]에 대해 discount: 0.8 [IMG:5]를 반환하고 있습니다. 즉, reasoning_tokens [IMG:6]와 max_tokens [IMG:7]를 적절히 모니터링할 수 있는 용도라면, GLM-5.2는 상당히 비용 효율적인 선택지가 됩니다.

이것이 실질적인 트레이드오프 (tradeoff)입니다:

작업 부하 (Workload)	이번 테스트에서의 더 적합한 모델
충분한 출력 예산이 있는 짧은 추론	GLM-5.2가 비용 효율적인 옵션이 될 수 있음
...

0.8 [IMG:8] 배율을 영구적이고 보편적인 가격으로 간주하지 마십시오. 이는 발행 시점의 Crazyrouter 가격 데이터 스냅샷이며, 대규모 배포 전에는 반드시 다시 확인해야 합니다.

최소한의 요청 예시:

curl https://cn.crazyrouter.com/v1/chat/completions \
-H "Authorization: Bearer $CRAZYROUTER_API_KEY" \
-H "Content-Type: application/json" \
...

Claude Fable 5와 비교하려면, 동일한 페이로드 (payload)를 유지하고 모델만 변경하십시오:

{
"model": "claude-fable-5"
}

프로덕션 스타일의 평가를 위해서는 모든 요청에 대해 다음과 같은 형태를 로그로 남기십시오:

{
"model": "glm-5.2",
"max_tokens": 3200,
...

API 엔드포인트 (endpoints)는 깔끔하게 유지되어야 합니다. https://cn.crazyrouter.com/v1 [IMG:9]에 UTM 파라미터를 추가하지 마십시오. 트래킹 (tracking)은 사용자에게 노출되는 기사나 등록 링크에만 사용하십시오.

동일한 OpenAI 호환 요청을 Crazyrouter로 보내 자신의 프롬프트로 두 모델을 비교할 수 있습니다.

아니요. 이번 실행에서 GLM-5.2는 max_tokens=3200 [IMG:10] 이후에 수학 작업을 해결했고, max_tokens=8000 [IMG:11] 이후에 물리 작업을 해결했습니다.

문제는 낮은 예산(budget)이 가시적인 콘텐츠가 나타나기 전, 주로 추론 토큰(reasoning tokens)에 의해 소비되었다는 점입니다.

HTTP 200은 단지 API 호출이 반환되었음을 의미할 뿐이기 때문입니다. 만약 finish_reason=length이거나, 가시적인 콘텐츠가 비어 있거나, 생성된 코드가 불완전하다면 벤치마크 답변은 여전히 사용할 수 없는 상태일 수 있습니다.

긴 코드 생성은 또 다른 실패 모드(failure mode)를 드러냅니다. 모델이 파일의 설득력 있는 전반부를 작성하더라도, HTML이나 JavaScript가 중간에 끊긴다면 결국 실패하게 됩니다.

그렇습니다. 현재의 0.8 할인 배수(discount multiplier)는 충분한 출력 예산을 할당하고 응답 메타데이터(response metadata)를 모니터링할 수 있는 워크로드(workload)에서 매력적입니다.

최소한 다음 항목들을 확인해야 합니다: max_tokens, completion_tokens, reasoning_tokens, finish_reason, 가시적 출력 길이(visible output length), 아티팩트 완성도(artifact completeness), 그리고 런타임 검증(runtime validation).

결론은 단순하지 않습니다. GLM-5.2는 비용 측면에서 매력적이고 추론도 가능하지만, 출력 예산의 관리가 필요합니다. Claude Fable 5는 짧은 답변과 완성된 단일 HTML 생성에서 안정적이었습니다.