Anthropic은 새로운 토크나이저(Tokenizer)에 대해 다음과 같이 쓰고 있습니다.

it may use roughly 1x to 1.35x as many tokens when processing text compared to models before Claude Opus 4.7 (up to ~35% more,

varying by content)

(Claude Opus 4.7 이전 모델과 비교하여, 텍스트 처리 시 대략 1배에서 1.35배의 토큰을 사용할 가능성이 있음 (내용에 따라 최대 약 35% 증가))

"내용에 따라". 그 이상의 설명은 없습니다.

동일한 내용을 일본어와 영어로 각각 작성하여 측정해 본 결과, 이 차이의 정체는 상당 부분 언어였습니다.

일본어: -2.2% (오히려 감소) 영어: +37.9%-
결과적으로, 동일한 내용을 일본어로 작성했을 때의 상대적 비용이
1.78배 → 1.21배로 줄어들었습니다.

"일본어로 AI를 사용하면 토큰에서 손해를 본다"는 것은 지금까지 올바른 인식이었습니다. 그 전제가 바뀌고 있습니다.

• 대상: Claude를 일본어로 사용하는 사람, 일-영 중 어느 쪽으로 프롬프트(Prompt)를 작성할지 고민해 본 적이 있는 사람
• 검증 시점: 2026-07-25
• 측정 방법:
  /v1/messages/count_tokens

엔드포인트(Endpoint) (과금되지 않음). 스크립트와 샘플은 기사 내에 전문 게재

먼저 정리: 이것은 Opus 5의 이야기가 아니다

우선 오해하기 쉬운 점부터 짚고 넘어가겠습니다. 이 새로운 토크나이저는 Claude Opus 4.7에서 도입된 것이며, Opus 5의 새로운 기능이 아닙니다. 공식 이행 가이드에는 다음과 같이 적혀 있습니다.

Claude Opus 4.7 introduced a new tokenizer, which later Opus models, including Claude Opus 5, also use.

(Claude Opus 4.7이 새로운 토크나이저를 도입하였으며, Claude Opus 5를 포함한 이후의 Opus 모델들도 이를 사용한다)

그리고 Opus 4.8에서 Opus 5로 업그레이드하는 경우에 대해서는 다음과 같이 적혀 있습니다.

Token counts are roughly unchanged when migrating from

claude-opus-4-8

(claude-opus-4-8에서 이행할 경우, 토큰 수는 대체로 변하지 않는다)

즉, 지금부터 Opus 5로 올려도 토큰 수는 변하지 않습니다. 차이가 발생하는 것은 Opus 4.6 이전이나 Sonnet 4.6 등, 오래된 토크나이저를 사용하는 모델에서 옮겨올 경우입니다.

그렇긴 해도, Sonnet 4.6을 계속 사용하고 있는 사람은 여전히 많을 것이며, 모델을 선택할 때의 판단 자료가 될 수 있습니다. 무엇보다, 공식 측이 "내용에 따라"라고만 얼버무린 부분에 구체적인 수치를 넣어둘 가치가 있다고 생각하여 측정했습니다.

측정 방법

count_tokens는 실제로 모델을 구동하지 않고 토큰 수만 반환하는 엔드포인트입니다. 과금되지 않습니다.

import json, os, urllib.request
def count(model, text):
body = json.dumps({
...

비교한 모델은 4개입니다.

• 구형 토크나이저:
  claude-sonnet-4-6

• 신형 토크나이저:
  claude-opus-5

/claude-sonnet-5

/claude-opus-4-8

신형 측 3개 모델은 총 13개 샘플에서 수치가 완전히 일치했습니다. 동일한 토크나이저를 사용한다는 공식 설명은 사실이었습니다. 아래 표에서는 대표로 Opus 5의 값을 기재합니다.

측정 시 주의할 점이 하나 있었습니다. 일-영을 "동일한 내용의 대역 쌍"으로 맞추는 것입니다. 일본어 4건과 영어 2건처럼 수를 맞추지 않고 합계를 비교하면 비율이 의미를 갖지 못합니다. 5쌍의 대역 쌍을 준비했습니다.

실측 결과

일본어는 모든 샘플에서 감소하고 있습니다. 영어는 모든 샘플에서 증가하고 있습니다. 예외는 없습니다.

공식에서 말하는 「1x에서 1.35x」의 범위는, 일본어 측에서는 0.97x, 영어 측에서는 1.38x였습니다. 일본어는 공식의 하한선을 밑돌았고, 영어는 상한선을 약간 초과했습니다.

고정 오버헤드 (Fixed Overhead)를 빼면 차이는 더 벌어진다

count_tokens는 메시지 1통으로 카운트하기 때문에, 본문 이외의 고정분이 포함됩니다. 단 1글자만 보내서 측정하면 다음과 같았습니다.

고정 오버헤드는 구형 7 / 신형 6 토큰 정도로 추정됩니다. 이를 5개 샘플분(구형 35 / 신형 30) 차감한 순수(Net) 값은 다음과 같습니다.

영어의 증가율은 **+45.6%**까지 올라갑니다.

일-영 차이가 1.78배에서 1.21배로 줄어들었다

이 부분이 이 기사의 핵심입니다. 같은 내용을 일본어로 썼을 때, 영어로 쓰는 것보다 몇 배의 토큰을 소비하는가를 계산합니다.

「일본어는 영어보다 토큰을 2배 가까이 사용한다」는 것이 지금까지의 통념이었습니다. 그것이 1.2배 정도까지 줄어들었습니다.

만약을 위해 보충하자면, 이것은 일본어가 효율화되었기 때문이 아닙니다. 일본어는 거의 보합세인 상태에서, 영어가 45% 증가한 결과로 차이가 줄어든 것입니다. 이번 세대교체에서 상대적으로 이득을 본 것은 일본어 사용자이며, 영어 사용자는 같은 문장에 1.45배의 토큰을 지불하게 되었다는 구도입니다.

왜 그렇게 되는지에 대해 공식은 설명하지 않았습니다. 토크나이저의 어휘 구성이 변했다는 사실 이상의 추측은 삼가겠습니다.

코드는 어떠한가

언어 비교와 별개로, 코드도 측정했습니다.

코드는 증가하는 쪽입니다. 특히 JSON과 같이 기호가 많은 텍스트에서 +41.3%로 크게 나타나며, API 요청이나 응답을 그대로 컨텍스트 (Context)에 넣는 방식에서는 영향이 큽니다.

흥미로운 점은 3행째입니다. 일본어 주석이 포함된 코드는 +10.0%로, 증가 폭이 완만해집니다. 코드 부분이 늘어나는 반면, 일본어 주석 부분이 거의 보합세이기 때문에 섞으면 중간 수준으로 수렴합니다. 일본어 문서나 주석을 많이 포함하는 리포지토리 (Repository)를 다루는 사람은 증가 폭이 생각보다 작을 수도 있습니다.

실무에서의 영향

1. 일본어 중심의 사용법이라면, 전환에 따른 토큰 증가를 걱정할 필요가 없다

Sonnet 4.6에서 Opus 5나 Sonnet 5로 넘어갈 때, 「토큰이 35% 늘어난다고 한다」라는 정보만 보면 경계하게 됩니다. 일본어 문서나 채팅이 중심이라면 실질적인 증가는 없습니다.

2. 영어 코드베이스나 영문 문서를 대량으로 읽히고 있다면, 예측치를 1.4배로 잡는다

반대로 이 경우는 영향이 큽니다. 긴 영문 사양서나 README를 매번 컨텍스트에 넣는 구성에서는, 같은 자료가 1.4배의 토큰을 점유하게 됩니다. 비용뿐만 아니라 컨텍스트 윈도우 (Context Window) 소비량 측면에서도 영향을 미칩니다.

3. 「영어로 프롬프트를 작성하면 토큰을 절약할 수 있다」는 정석이 약해졌다

영어로 쓰는 것이 더 저렴하다는 것은 이전에는 성립하던 말이었습니다. 지금은 일-영 차이가 1.2배 정도이므로, 영어로 다시 쓰는 수고가 그만한 가치가 있는지는 미묘합니다. 일본어로 작성하여 내용을 정확하게 전달하는 것이 많은 경우 더 합리적이라고 생각합니다.

측정의 한계

솔직하게 말씀드립니다.

• 샘플은 13건입니다. 문장의 장르를 5가지(기술 해설, 비즈니스 문서, 일상 대화, 헤드라인, 절차서)로 나누었으나, 통계적으로 충분한 숫자는 아닙니다 - 대역(対訳)은 필자가 작성했습니다. 번역의 입도(granularity)에 따라 글자 수는 달라집니다(영어는 글자 수가 더 많고, 일본어는 글자당 정보량이 더 많다는 일반적인 경향은 그대로 반영되어 있습니다).
• 고정 오버헤드(Fixed overhead)는 1글자 샘플로부터의 추정치입니다.

왜 영어가 늘어났는지는 모릅니다. 공식적인 설명이 없으므로 추측은 적지 않겠습니다.

재현할 수 있도록 사용한 샘플은 모두 기사에 실어 두었습니다. 가지고 계신 프롬프트로 다시 측정해 보는 것이 가장 확실합니다. count_tokens는 무료이므로, 실제 업무 데이터로 측정해 보시는 것을 추천합니다.

요약

• 새로운 토크나이저(Tokenizer) (Opus 4.7 이후)에서,
  일본어는 -2.2%, 영어는 +37.9% - 고정분을 제외한 순수 수치로는 일본어 -1.2% / 영어
  +45.6% - 동일한 내용의 일-영 토큰 비율은
  1.78배 → 1.21배 - 코드는 늘어나는 쪽(JSON +41.3%). 단,
  **일본어 주석이 포함된 코드는 +10.0%**에 그침 - Opus 4.8 → Opus 5로의 이행에서는 토큰 수가 변하지 않음 (동일한 토크나이저를 사용하기 때문)

공식 측에서 "내용에 따라 다르다"라고 적은 부분의, 적어도 일부는 "언어에 따라 다르다"였습니다. 일본어로 AI를 사용하는 것의 비용 측면에서의 불리함은 이전보다 작아졌습니다.

사용한 샘플 (재현용)

기술 해설 (일)

機械学習モデルの推論コストを削減するため、量子化と蒸留を組み合わせた手法を検証しました。その結果、精度の低下を三パーセント以内に抑えながら、推論速度を二倍に向上させることに成功しました。今後は実運用環境での安定性を評価する予定です。

기술 해설 (영)

To reduce the inference cost of machine learning models, we evaluated a method combining quantization and distillation. As a result, we succeeded in doubling the inference speed while keeping the accuracy degradation within three percent. Next, we plan to evaluate stability in a production environment.

비즈니스 문서 (일)

来期の事業計画についてご相談があります。現在の売上構成は法人向けが七割を占めておりますが、市場の成熟に伴い成長率が鈍化しています。そこで個人向けサービスへの投資を拡大し、三年以内に売上比率を五分五分にすることを提案します。

비즈니스 문서 (영)

I would like to discuss next year's business plan. Corporate clients currently account for seventy percent of our revenue, but growth has slowed as the market matures. I propose expanding investment in consumer services to reach a fifty-fifty revenue split within three years.

일상 대화 (일)

昨日はありがとうございました。おかげさまで無事に終わりました。また来週もよろしくお願いします。天気が良ければ、みんなで食事にでも行きませんか。

일상 대화 (영)

Thank you for yesterday. Everything went smoothly thanks to you. I look forward to working with you again next week. If the weather is nice, why don't we all go out for a meal?

기사 헤드라인 (일)

生成エーアイを業務に導入して半年、現場で本当に効果が出た三つの使い方と、期待外れに終わった二つの失敗

기사 헤드라인 (영)

업무에 생성형 AI를 도입한 지 6개월: 현장에서 실제로 효과를 본 세 가지 활용법과 기대에 미치지 못했던 두 가지 실패 사례.

불렛 포인트 절차 (일)

재고 발주점 (Reorder point)을 재검토하는 절차는 다음과 같습니다. 카테고리별로 지난 반년 동안의 평균 출하량을 집계한다. 공급업체별 리드 타임 (Lead time)을 확인한다. 품절 허용도를 고려하여 안전 재고를 결정한다. 이상의 수치들을 곱하여 발주점을 산출한다.

불렛 포인트 절차 (영)

재고 발주점 (Reorder point)을 재검토하는 절차는 다음과 같습니다. 지난 6개월 동안 각 카테고리별 평균 출하량을 집계합니다. 각 공급업체별 리드 타임 (Lead time)을 확인합니다. 품절 허용도를 바탕으로 안전 재고를 결정합니다. 이 값들을 곱하여 재발주점을 계산합니다.

코드 (Python / 영어 주석)

def calculate_discount(price: float, rate: float) -> float:
"""Return the discounted price rounded to 2 decimals."""
if not 0 <= rate <= 1:
...

코드 (JSON)

{"model":"claude-opus-5","max_tokens":4096,"output_config":{"effort":"medium"},"messages":[{"role":"user","content":"Hello"}]}

코드 (Python / 일본어 주석)

def month_end(year: int, month: int):
"""월말일을 반환한다. 다음 달 1일에서 하루를 빼는 것이 안전하다."""
import datetime
...

출처

• Migration guide — 새로운 토크나이저 (Tokenizer) 도입 시기와 "1x~1.35x, 내용에 따라 다름"이라는 기술
• Token counting

Discussion