GLM-5.2 vs Claude Fable 5: 출력 예산(Output Budget)에서 차이가 나타났다

이 글은 일반적인 모델 순위 매기기가 아닙니다. API를 통한 실제 테스트에서, GLM-5.2는 출력 예산(output budget)을 늘린 후에는 추론(reasoning) 작업을 해결했지만, 낮은 제한에서는 가시적인 콘텐츠 없이 HTTP 200을 반환할 수 있었습니다. Claude Fable 5는 더 적은 예산에서도 더 안정적이었으며, 길고 실행 가능한 HTML을 전달하는 데 더 뛰어났습니다.

이 테스트가 중요한 이유

이 테스트는 채팅 UI가 아닌 OpenAI 호환 API인 Crazyrouter를 사용했습니다. 이는 결과가 단순히 문장 품질로만 판단되지 않았기 때문에 중요합니다. 각 응답은 다음과 같은 운영 메타데이터(operational metadata)로 확인되었습니다:

Base URL: https://cn.crazyrouter.com/v1
Endpoint: POST /v1/chat/completions
Models: glm-5.2, claude-fable-5
...

중요한 필드는 max_tokens, completion_tokens, reasoning_tokens, finish_reason, 가시적 콘텐츠 길이, 생성된 HTML이 닫혔는지 여부, 그리고 브라우저에서 애니메이션이 실제로 움직이는지 여부였습니다.

테스트 설계 방식

벤치마크는 의도적으로 세 가지 작업 유형을 혼합했습니다:

작업 (Task)	목적 (Purpose)	참조 결과 (Reference result)
MATH-003	상태 기반 기대 추론 (State-based expectation reasoning)	HH = 6이 될 때까지의 기대 플립 횟수
...

처음 두 작업은 추론(reasoning)을 측정했습니다. 세 번째 작업은 모델이 단순히 그럴듯한 부분적인 코드 블록을 만드는 것이 아니라, 완전한 아티팩트(artifact)를 생성할 수 있는지를 측정했습니다.

관찰된 결과

작업 (Task)	glm-5.2	claude-fable-5
수학 (Math), 원래 예산 (original budget)	finish_reason=length, completion_tokens=1601, reasoning_tokens=1600, 가시적인 본문 비어 있음	finish_reason=stop, 완전하고 정확함
...

가장 중요한 관찰 결과는 GLM-5.2가 추론(reasoning) 자체에 실패한 것이 아니라는 점입니다. 수학 및 물리 작업에서 이 모델은 더 큰 출력 예산(output budget)을 사용한 후에는 정확한 답을 생성했습니다. 문제는 가시성(visibility)과 완성도(completion)였습니다. 즉, 사용자가 보는 콘텐츠가 비어 있거나 불완전하더라도 요청은 HTTP 200을 반환할 수 있다는 점입니다.

긴 Canvas 애니메이션의 경우, 그 차이가 더욱 극명했습니다. GLM-5.2는 max_tokens=8000에서 가시적인 HTML 조각을 생성했지만, JavaScript 내부에서 멈춰버려 파일을 닫지 못했습니다. 반면 Claude Fable 5는 max_tokens=8000에서 HTML을 완성했습니다. 브라우저 검증 결과 콘솔 에러가 없었으며, 800x500 크기의 canvas, 컨트롤러, 속도 슬라이더, 그리고 700ms 후 changedPixels=55090임을 확인했습니다.

가성비 분석 (Leitura de custo-benefício)

게시 시점을 기준으로, Crazyrouter의 가격 API는 glm-5.2에 대해 discount: 0.8을 반환합니다. 이는 애플리케이션이 reasoning_tokens, finish_reason을 모니터링하고 max_tokens를 적절히 조정할 수 있다면, 해당 모델이 비용 측면에서 매우 경쟁력이 있음을 의미합니다.

이것이 실질적인 트레이드오프(tradeoff)입니다:

워크로드 (Workload)	이번 테스트를 통한 더 적합한 선택
충분한 출력 예산을 가진 짧은 추론 (Short reasoning)	GLM-5.2가 비용 효율적인 옵션이 될 수 있음
...

0.8 배수를 영구적이고 보편적인 가격으로 간주하지 마십시오. 이는 게시 시점의 Crazyrouter 가격 데이터 스냅샷이며, 대규모 배포 전에는 반드시 다시 확인해야 합니다.

통합 노트 (Notas de integração)

최소 요청 (Minimal request):

curl https://cn.crazyrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $CRAZYROUTER_API_KEY" \
  -H "Content-Type: application/json" \
...

Claude Fable 5와 비교하려면, 동일한 페이로드(payload)를 유지하고 모델만 변경하십시오:

{
  "model": "claude-fable-5"
}

프로덕션 스타일의 평가를 위해서는 모든 요청에 대해 이 형태를 로그로 남기십시오:

{
  "model": "glm-5.2",
  "max_tokens": 3200,
...

API 엔드포인트(API endpoints)는 깔끔하게 유지되어야 합니다. https://cn.crazyrouter.com/v1에 UTM 파라미터를 추가하지 마십시오. 트래킹(tracking)은 사용자가 직접 접하는 기사나 등록 링크에만 사용하십시오.

Crazyrouter에서 OpenAI와 호환되는 동일한 호출을 실행하여 사용자의 프롬프트로 모델들을 비교할 수 있습니다.

https://crazyrouter.com/register?utm_source=devto&utm_medium=article&utm_campaign=glm52_fable5_budget_cost_20260706&utm_content=devto_glm-52-vs-claude-fable-5-output-budget-cost-pt_20260706__bottom&utm_term=glm-5.2+claude+fable+5+benchmark

FAQ

GLM-5.2가 추론(reasoning) 태스크에서 실패했나요?

아니요. 이번 실행에서 GLM-5.2는 max_tokens=3200 이후에 수학 태스크를 해결했고, max_tokens=8000 이후에 물리 태스크를 해결했습니다. 문제는 가시적인 콘텐츠가 나타나기 전에 낮은 예산(budget)이 주로 추론 토큰(reasoning tokens)에 의해 소비되었다는 점입니다.

왜 HTTP 200을 성공으로 점수화하지 않나요?

HTTP 200은 단지 API 호출이 반환되었음을 의미하기 때문입니다. finish_reason=length이거나, 가시적인 콘텐츠가 비어 있거나, 생성된 코드가 불완전하다면 벤치마크 답변은 여전히 사용할 수 없는 상태일 수 있습니다.

왜 애니메이션 태스크가 포함되었나요?

긴 코드 생성은 다른 형태의 실패 모드(failure mode)를 드러냅니다. 모델이 파일의 전반부를 설득력 있게 작성하더라도, HTML이나 JavaScript가 잘려 버리면 실패할 수 있습니다.

GLM-5.2를 여전히 테스트할 가치가 있나요?

네. 현재의 0.8 할인 배수(discount multiplier)는 충분한 출력 예산(output budget)을 할당하고 응답 메타데이터(response metadata)를 모니터링할 수 있는 워크로드에서 매력적입니다.

향후 비교에서는 무엇을 기록해야 하나요?

최소한 다음 항목들을 기록해야 합니다: max_tokens, completion_tokens, reasoning_tokens, finish_reason, 가시적 출력 길이(visible output length), 아티팩트 완전성(artifact completeness), 그리고 런타임 검증(runtime validation).

최종 판결

실질적인 결론: GLM-5.2는 비용 측면에서 매력적이며 추론 능력도 뛰어날 수 있지만, 출력 예산 (output budget) 제어가 필요합니다. Claude Fable 5는 짧은 답변과 완전한 HTML 생성에 있어 더 예측 가능했습니다.