Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Gemini 4 Argon의 토크나이저 변경에 따른 41개 언어별 토큰 사용량 변화를 분석한 연구 결과입니다. 한국어와 일본어는 각각 8%, 7% 감소했지만, 힌디어 등 인도 계열 언어는 최대 19%까지 증가하는 등 언어 간 부담 이동 현상이 관찰되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Gemini 4 Argon에서는 토크나이저가 변경되었습니다. 같은 문장이라도 Gemini 3.x와 토큰 수가 다릅니다. 토큰 수는 그대로 API 요금과 컨텍스트 상한에 영향을 미치므로, 무엇이 얼마나 변했는지 41개 언어로 측정했습니다.
먼저 결론부터 말씀드립니다.
같은 문장으로 일본어는 7%, 한국어는 8% 토큰이 감소했습니다. 영어는 1토큰도 변하지 않았습니다.
반대로 힌디어, 타밀어, 칸나다어 등 인도 언어는 12~19% 증가했습니다.
41개 언어를 합산하면 변화는 +0.7%에 불과합니다. 전체적으로 좋아졌다거나 나빠졌다고 보기 어려우며, 언어 간에 부담이 이동한 것으로 보입니다.
일상적인 요청 10가지(함수 작성, 여행 계획, 상품 설명, 회의록 정리 등)를 41개 언어로 번역한 410문장
Google AI Studio의 토큰 카운터로 Gemini 4 Argon과 Gemini 3.8 Flash를 측정했습니다 (2026-10-21). Gemini 3.8 Flash와 3.1 Pro는 이전 측정에서 토큰 수가 같았기 때문에 3.x로 통합하여 사용했습니다.
카운터가 더하는 고정값은 제외했습니다. Argon은 한 글자 'a'가 32로 나오므로 31, 3.8 Flash는 2로 나오므로 1을 적용했습니다.
비교용 GPT (o200k)와 Claude Haiku 5.5는 같은 410문장으로 이전에 측정한 값입니다.
| 언어 | Gemini 3.x | Gemini 4 Argon | 변화 |
|---|---|---|---|
| 영어 | 373 | 373 | 0% |
| ... |
중요한 것은 방향성이 일관적이라는 점입니다. 영어는 10문장 모두에서 같은 수였습니다. 일본어와 한국어는 10문장 모두 감소했고(문장당 -3%-15%), 힌디어, 칸나다어, 타밀어는 10문장 모두 증가했습니다(+6%+31%). 특정 문장의 문제가 아니라 토크나이저 자체의 변화입니다.
글자 수로 환산하면 이해하기 쉽습니다. 일본어는 1토큰당 글자 수가 1.80자에서 1.94자로 늘었습니다. 같은 컨텍스트에 일본어 문장을 약 8% 더 많이 넣을 수 있다는 계산입니다. 반대로 칸나다어는 2.71자에서 2.32자로 줄었습니다.
41개 언어 전체(요청문 1개씩)를 문자 체계별로 정리했습니다. 숫자는 Gemini 3.x 대비 변화의 중앙값입니다.
| 문자 체계 | 언어 수 | 변화 (중앙값) | 범위 |
|---|---|---|---|
| 인도 계열 문자 (힌디어, 벵골어, 타밀어 등) | 10 | +17% | -8%~+24% |
| ... |
인도 계열 문자 10개 언어 중 9개 언어가 증가했고(예외는 펀자브어의 -8%), 일·중·한 4개 언어는 모두 감소했습니다. 라틴 문자의 경우 영어, 독일어, 프랑스어는 변함이 없었으나, 핀란드어(-10%), 헝가리어(-8%), 폴란드어(-7%)처럼 어형 변화로 단어가 길어지는 언어들이 감소했습니다. 러시아어, 우크라이나어, 그리스어는 토큰 수에 아무런 변화가 없었습니다.
41문장의 토큰을 합산하면 Gemini 3.x는 2,069개, Argon은 2,083개로 차이는 +0.7%입니다. 영어 대비 추가 토큰(언어세)의 중앙값 역시 둘 다 +41%로 동일합니다.
토크나이저는 정해진 크기의 어휘 목록으로 문장을 분리합니다. 특정 언어에서 자주 사용되는 문자 조합이 목록에 많이 포함되어 있으면, 그 언어는 토큰 수가 적게 나옵니다. 이번 결과는 어휘의 일부가 인도 계열 문자에서 일·중·한 문자나 일부 유럽 언어로 이동했을 때 나타나는 형태와 매우 유사합니다. Google은 변경된 내용을 공개하지 않았기 때문에, 이는 측정 결과를 바탕으로 한 추정입니다.
Gemini 3.x는 인도 언어에서 특히 효율이 좋았던 모델이었습니다. Argon에서는 그 강점이 상당히 약화되었습니다. 요청문 1개의 토큰 수입니다.
| 언어 | GPT (o200k) | Gemini 3.x | Gemini 4 Argon |
|---|---|---|---|
| 힌디어 | 51 | 41 (GPT 대비 -20%) | 48 (-6%) |
| ... |
힌디어는 GPT보다 20% 적었지만, 6% 정도 줄어든 수준으로 축소되었고, 칸나다어와 말라얄람어는 GPT보다 증가했습니다.
같은 10문장의 토큰 합산 결과입니다.
| 언어 | Gemini 4 Argon | GPT (o200k) | Claude Haiku 5.5 |
|---|---|---|---|
| 영어 | 373 | 350 | 520 |
| ... | |||
| 영어만 비교했을 때는 GPT가 6% 적지만, 일본어에서는 순위가 바뀌고 Argon은 GPT보다 32%, Claude보다 43% 적습니다. 다만 토큰 단가는 모델마다 다르기 때문에, 토큰이 적다는 것이 곧 저렴하다는 의미는 아닙니다. |
일본어/한국어로 Gemini를 사용할 경우: 토큰 단가가 같다면 입력 비용은 78% 감소하여 같은 컨텍스트로 더 많은 문장을 넣을 수 있습니다. 토큰 수로 결정되는 상한선이나 무료 사용량도 그만큼 오래갑니다. -20% 증가하는 것을 전제로 예산을 재검토하는 것이 안전합니다. 칸나다어나 말라얄람어의 경우, GPT가 토큰 수가 더 적어졌습니다. -
인도 언어 서비스를 3.x에서 Argon으로 이전할 경우: 동일 트래픽 기준으로 입력 토큰이 10
영어 중심 서비스: 토큰 수 면에서는 변화가 없습니다. -
비용 추정: 3.x에 맞춰 '글자수 ÷ 상수'와 같은 기준은 일본어/한국어 또는 인도 언어에는 맞지 않게 됩니다. 모델별로 다시 측정해야 합니다.
입력 토큰만 측정했습니다. 출력도 동일한 토크나이저일 가능성이 높지만, 확인하지는 않았습니다.
41개 언어 전체 표 및 CSV (CC BY 4.0): https://tokensave.app/data/language-tax-index
자신의 문장 토큰 수 측정: https://tokensave.app/ja/