※초안의 일부는 AI 지원을 사용했습니다. 수치 및 결과는 모두 직접 실행하고 검증했습니다.
먼저 결론부터 말씀드립니다. 사용자용 채팅에 모델 하나를 배치해야 한다면 Claude Fable 5.2가 적합하며, 배치 처리나 예산 중시라면 Kimi K3.1 Pro가 좋습니다. 능력 차이는 19개 태스크 중 단 한 문제였습니다. 게다가 그것은 두 번의 '실수'로 인한 것이지, 모델 자체의 지력이 아닙니다.
2026년 11월 12일, 같은 날짜에, 동일한 엔드포인트와 동일한 머신에서 19개 태스크를 두 모델 모두에 적용했습니다. 실행은 각 19회씩 진행했으며, 코드 계열은 최대 3라운드까지 수정 기회를 주었습니다. 채점은 모두 스크립트로 진행했으며, 모델의 설명문은 일절 가산하지 않았습니다.
- 엔드포인트: OpenAI와 호환되는 단 하나의 엔드포인트만 사용했습니다. 변경한 것은 모델 문자열뿐입니다. -
- 태스크: 코드 수정 3개, 제로 구현(Zero Implementation) 3개, 도구 구성(Tool Orchestration) 3개, 리포지토리 QA 3개, 지시 추종(Instruction Following) 3개, 오도 유도 내성(Misdirection Resistance) 2개, 장문맥(Long Context) 2개의 총 19문제입니다. -
- 채점: 코드는 숨겨진 단위 테스트(hidden unit test), 구조화 출력은 JSON 파싱, 리포지토리 QA는 완전 일치, 장문맥은 임베딩된 표시자 대조를 사용했습니다.
base_url = "https://api.crazyrouter.com/v1"
그렇다면 어디서 차이가 났을까요?
코드 계열 6문제는 두 모델 모두 1라운드 만에 통과했습니다. 리포지토리 QA와 장문맥도 전 문항에서 정답이었습니다. 존재하지 않는 모델 이름을 묻는 오도 유도 테스트에서도, 두 모델 모두 수치를 지어내지는 않았습니다.
첫 번째 문제는 도구 구성 태스크 중 '지난달 주문 총액'에 관한 것이었습니다. Kimi는 search_docs를 선택하여 문서 검색을 실행했습니다. Fable은 run_sql을 선택했지만, SQL이 information_schema를 참조하고 있어 주문 테이블이 아니었습니다. 두 모델 모두 오답이었고, 단지 틀린 방식만 다릅니다.
두 번째 문제는 지시 추종 작문 과제(140~160자, 필수 3점, 금지어 4개)였습니다. Kimi가 이번에는 글자 수를 맞추지 못했습니다. 같은 문제에 대해 지난 예비 실행에서는 155자로 통과했었으므로, 출력의 불안정성으로 보는 것이 타당합니다.
두 모델 모두 '이해할 수 없었다'가 아니라 '손이 미끄러진' 유형입니다. 실제 운영 환경에서는 오류로 나타나지 않고, 재작업(hand-back) 형태로 드러납니다.
비용은 어디에서 사라지는가?
| 모델 | 출력 토큰 | 그중 사고(思考) 토큰 | 가시 텍스트 |
|---|:---|
| Kimi K3.1 Pro | 10,896 | 9,175 | 1,721 |
| Claude Fable 5.2 | 6,386 | 0 | 6,386 |
Kimi는 출력의 84%가 사고(思考) 토큰입니다. 비용은 읽을 수 있는 글자가 아니라 '생각하는' 부분에 기여합니다. Fable은 사고 토큰이 0이라서 지불하는 토큰은 모두 가시 텍스트입니다.
가시 텍스트당으로 환산하면, Kimi는 100만 토큰 당 약 $63.3이고, Fable은 약 $40.0입니다. 단가가 4배인 모델이 오히려 읽을 수 있는 글자 단위에서는 저렴해지는 역전 현상이 발생합니다.
400줄 로그의 287번째 줄에 숨겨진 키와, 800줄 모듈 끝의 상수. 두 경우 모두 정답이었습니다.
다만 재료가 약 1.4만 토큰입니다. Kimi는 104만 토큰을 공시하고 있지만, Fable 5.2 공식 페이지에는 컨텍스트 크기(context size)에 대한 기재가 없습니다. 이 두 문제는 '1.4만 토큰에서는 어느 쪽도 놓치지 않는다'는 것만을 보여줄 뿐입니다. 상한선을 말하려면 상한선 근처의 입력을 구성해야 하는데, 이번에는 그렇게 하지 않았습니다.
temperature는 공통 파라미터가 아닙니다. Kimi는 0.7을 넣고 400을 반환했지만, 심지어 오류 메시지가 항목명을 알려주지 않습니다. gpt-6.1-terra는 1 외의 값을 받지 못합니다. Claude는 2를 전달해도 조용히 무시합니다. Gemini는 5를 넣어 429(Rate Limit)를 반환하여 속도 제한처럼 보입니다. DeepSeek은 5를 넣고 명확한 400을 반환했습니다. 총 6개 모델에서 5가지의 동작 방식이 나타났습니다.
200 상태 코드에서도 내용이 비어있을 수 있습니다. Kimi의 상한선을 1,200으로 설정했을 때, 200 / finish_reason: length / 내용은 0글자 / 사고 토큰 1,197토큰이었습니다. 상태 코드가 아니라 내용의 길이와 종료 이유를 확인해야 합니다.
구조화 출력에도 방언(dialect)이 있습니다. Claude 계열은 json_object를 400으로 거부하며 json_schema를 사용하라고 응답합니다. 다른 모델들은 json_object로 통과합니다.
도구 호출은 당연한 것이 아닙니다. gpt-6.1-terra는 세 번 모두 “일시적으로 이용할 수 없습니다”를 반환했습니다. Gemini는 tool_choice: required가 필요했고, auto로 설정했을 때는 5번 중 4번이 내용이 비어 있었습니다.
| 용도 | 선택 모델 | 이유 |
|---|
| 사용자용 채팅 | Fable 5.2 | 실측 총 시간 130.1초 대 401.6초 |
| ... | | |
| 이번 19개 태스크를 공식 가격으로 환산하면, Kimi는 입력 27,131/출력 10,896에 $0.163이고, Fable은 입력 36,074/출력 6,386에 $0.544입니다. 3.3배의 차이입니다. | | |
대표적인 세 가지 부하에서, 지원 10만 라운드는 약 $460 대 $1,840, 문서 1,000건은 약 $31 대 $124, 코딩 지원(입력 2M/출력 400k)은 약 $8 대 $32입니다. 모두 3배 전후입니다.
가격이 변하므로, 확인은 모델 목록과 요금 페이지에서 해주세요. 사용할 수 있는 모델의 목록은 모델 카탈로그에 있습니다.
이 19문제로 단정할 수 있을까요?
19문제, 2개 모델, 1일. 방향성은 파악되지만, 단정하기에는 부족합니다. 더 긴 문맥, 멀티턴 도구 호출(multi-turn tool calling), Anthropic의 가격 페이지 심층 분석($8/$40 및 캐시 읽기 $0.20만 확인)은 미실시입니다.
자신의 수치가 필요하다면, 절차는 세 가지입니다. 자주 묻는 질문을 10번 던져 중앙값과 최악값을 기록한다. 실제로 공개할 원고 1편을 플랫폼의 규칙에 따라 작성하게 하고 수정된 부분을 센다.
max_tokens를 2단계로 설정하여 각각 3번 실행하고, length로 끝나는 횟수를 센다.
20분도 걸리지 않습니다. 손에 있는 수치가 이 기사보다 신뢰할 수 있습니다.
