본 기사는 고난도 문제 해결 시 추가적인 사고 과정(thinking)이 무엇을 구매하는지, 그리고 그 비용은 얼마인지를 단계별로 측정하는 가이드라인을 제공합니다. 총 일곱 개의 모델(Gemma 4 26B 및 31B, Gemini 3.5 Flash-Lite 및 3.8 Flash, 그리고 Gemini 4 Hydrogen, Carbon, Argon)이 동일한 15개의 대회 수학 문제를 두 번에 걸쳐 Gemini API를 통해 답변합니다. 한 번은 가장 낮은 사고 설정(lowest thinking setting)으로, 다른 한 번은 가장 높은 사고 설정(highest)으로 진행됩니다.
[https://github.com/xbill9/gemma4-dev/tree/main/docs/gemini-high-vs-low]
요약하자면: 가장 높은 사고 설정을 사용하는 것이 가장 낮은 설정보다 약 4배의 비용이 들었지만, 이 문제들에서는 거의 아무것도 얻지 못했습니다.
분석 결과 (The Findings)
비용(Cost). 두 설정 모두를 사용했을 때 총 비용은 $7.47입니다. 가장 낮은 설정에서 $1.53가 발생했고, 가장 높은 설정에서는 $5.95가 발생하여 3.9배의 차이를 보였습니다. 이번 테스트는 최악의 경우 $33.23까지 예산을 책정했습니다.
| 모델 | 최고 ÷ 최저 비율 |
|---|
| Gemini 3.5 Flash-Lite | 2.61x |
| ... | |
추가 비용은 추가적인 사고 과정에 대한 대가입니다: Argon의 경우 문제당 평균 사고 토큰(mean thinking tokens per problem)이 215개에서 4,129개로 증가했으며, Hydrogen의 경우 2,468개에서 15,062개로 증가했습니다. 또한 가장 높은 설정은 유료 모델의 경우 문제당 소요 시간이 3.2배에서 5.9배까지 길어졌습니다.
Gemini 4에서의 효과. 아무것도 아닙니다. Hydrogen, Carbon, Argon은 두 설정 모두에서 모든 15개 문제를 해결했기 때문에, 추가 비용으로 얻는 것은 동일한 15개의 답뿐이었습니다.
소형 모델에서의 효과. Flash-Lite, 3.8 Flash 및 두 Gemma 4 모델은 각각 하나 또는 두 개의 문제를 더 많이 해결했습니다. 15문제 중 눈에 띄는 성능 향상을 위해서는 약 35점의 이득이 있어야 하는데, 가장 큰 이득은 13점으로 단 2개 문제였으므로 이러한 이득은 우연일 수 있습니다.
가장 저렴한 정답 비용. 낮은 설정에서 Argon을 사용할 경우 문제당 $0.0162입니다. 반면 Hydrogen와 Carbon의 높은 설정을 사용하면 같은 점수를 얻는 데 문제당 $0.1232 및 $0.1297이 들며, 이는 각각 7.6배 그리고 8.0배 더 많은 비용입니다.
활용 방안.
- 🟢 Gemini 4로 어려운 수학 문제를 풀 때는 가장 낮은 설정부터 시작하세요.
- ⚠️ 작은 모델의 경우, 2.6배에서 4.2배까지 더 많은 비용을 지불하기 전에 자체 문제로 가장 높은 설정을 테스트하세요.
- ⚠️ Carbon과 Argon의 가격은 2026년 12월 1일에 두 배가 되며, 이는 격차를 벌립니다.
주의사항(Caveats). 15개 문제에 대한 한 번의 실행은 추가적인 사고 비용을 보여주지만, 서로 두 문제 이내로 끝내는 모델들의 순위를 매길 수는 없습니다. Google은 Carbon의 가장 높은 설정을 디버깅(debugging)이나 아키텍처와 같은 길고 다단계적인 작업에 배치했으며, 이번 실행에서는 이를 테스트하지 않았습니다.
측정된 내용 (What Was Measured)
이전 비교 글(Gemini 4 or Gemma 4? It Depends.)에서는 1,319개의 GSM8K 수학 문제와 400개의 BFCL 함수 호출을 가장 낮은 사고 설정(lowest thinking setting)에서 실행했으며, 이 경우 Argon은 0.9841점을, Gemma 4 31B는 0.9735점을 기록했습니다. 해당 문제들은 충분히 쉬워서 추가적인 사고가 도움이 될 여지가 거의 없습니다. 이번 실행은 더 어려운 문제를 사용하고 사고 범위의 양 끝을 모두 활용합니다.
| 모델 (Model) | 가장 낮은 설정 (Lowest setting) | 가장 높은 설정 (Highest setting) | 1M 토큰당 출력 가격 (Output price per 1M tokens) |
|---|
| Gemma 4 31B, 26B | minimal | high | 무료 티어 (free tier) |
| ... | | | |
출력 가격에는 사고 토큰(thinking tokens)이 포함됩니다. Carbon과 Argon은 2026년 12월 1일에 백만 출력 토큰당 $20로 책정됩니다.
이 시점에서 준비해야 할 사항 (At This Point You Should Have…)
- 유료 티어에서 Gemini 4 Carbon 및 Argon 모델을 사용하기 위한
~/gemini.key에 저장된 Gemini API 키
huggingface_hub와 scipy가 설치된 Python 3
- gemma4-dev의 클론 사본
단계 1 — 어려운 문제 15개 (Step 1 — Fifteen Hard Problems)
이 문제들은 AIME 2025 I의 전체 15문제이며, opencompass/AIME2025 데이터셋에서 고정된 리비전(pinned revision)을 사용합니다. 각 정답은 0부터 999까지의 정수입니다. 한 정답은 '336도'로 출판되었으며 336으로 읽힙니다.
cd benchmarks/gen-eval
python3 build_hard_set.py aime
wrote /home/xbill/gemma4-dev/benchmarks/gen-eval/data/aime2025.jsonl: 30 records
이 파일은 data/hard_manifest.json에 SHA-256과 함께 AIME 2025 I 및 II를 포함하고 있습니다. 이번 실행에서는 첫 15문항, 즉 논문 I을 사용합니다. 채점 스크립트인 benchmarks/gen-eval/gen_eval.py는 최종 답안을 별도의 줄에 Answer: <number> 형식으로 요청하며, 해당 숫자가 일치하는 즉시 답변을 채점합니다.
2단계 — 모델별 최고 사고 수준(Top Thinking Level)
Google의 사고 페이지는 Hydrogen에 대해서만 xhigh를 나열합니다. 모델 및 레벨당 하나의 작은 요청을 통해 OpenAI와 호환되는 엔드포인트가 무엇을 수용하는지 확인했습니다:
docs/gemini-high-vs-low/evidence/top-levels.sh
gemma-4-31b-it high ok thinking 225 answer 27 finish length
gemma-4-26b-a4b-it high ok thinking 253 answer 0 finish length
gemini-3.5-flash-lite high ok thinking 243 answer 9 finish length
...
가장 낮은 설정은 이전 실행에서 사용된 것입니다: Gemma와 Flash-Lite의 경우 minimal, 나머지 모델들은 none입니다.
3단계 — 실행이 초과할 수 없는 예산(Budget)
사고 과정 자체에는 제한이 없습니다. 하나의 요청 비용에 대한 유일한 상한선은 출력 한계(output limit)이며, 이는 사고 과정(thinking)과 답변(answer)이 이 출력을 공유하기 때문입니다. 따라서 실행 비용의 최대치는 시작 전에 알려질 수 있습니다: 전체 한계를 사용한 모든 응답 횟수에 출력 가격을 곱하고 입력 비용을 더하는 방식입니다.
모든 모델은 동일한 한계인 32,768 토큰을 받으며, 이는 Carbon과 Argon이 단일 비스트리밍(non-streaming) 요청에서 생성할 수 있는 최대치입니다. budget_run.py는 이 최악의 경우를 출력하고, 최악의 경우가 예산을 초과하는 실행은 거부하며, 각 라운드 전에 지출액에 다음 라운드의 최악의 경우 비용을 확인하면서 모든 모델에게 3개씩 문제를 한 번에 보냅니다.
python3 budget_run.py models-high.json aime2025 aime-high --budget 20 --limit 15 --dry-run
15 questions x 7 models, output limit 32,768: worst case $16.62, budget $20.00
각 $16.62인 두 가지 설정은 최악의 경우 $33.23이며, 합계 $40 미만입니다.
4단계 — 두 설정 모두 실행하기 (Run Both Settings)
docs/gemini-high-vs-low/evidence/run.sh high low
각 아크의 로그 마지막 줄, aime-high.log와 aime-low.log:
{"task": "aime2025", "spent_usd": 5.9455, "budget_usd": 20.0, "worst_case_usd": 16.62, "wall_s": 9749.6}
{"task": "aime2025", "spent_usd": 1.5255, "budget_usd": 20.0, "worst_case_usd": 16.62, "wall_s": 12953.1}
모든 요청은 20분 제한과 최대 세 번의 재시도 기회를 가집니다. 무료 티어에서 실행된 두 개의 Gemma 4 26B 요청은 네 번의 시도 모두 시간 초과가 발생했으며, 문제는 'minimal' 설정에서 2번, 'high' 설정에서 13번에 해당합니다. 둘 다 오답으로 간주됩니다. 모든 유료 모델은 두 가지 설정(settings) 모두에서 모든 문제에 답했습니다.
단계 5 — 점수 (The Scores)
derived.py는 저장된 답변을 바탕으로 모든 표를 만듭니다.
| Model | Right, lowest | Right, highest | Gained / lost at highest |
|---|
| Gemma 4 31B | 12 | 13 | +2 / −1 |
| ... | | | |
문제 14는 세대들을 가르는 문제입니다: 수소(Hydrogen), 탄소(Carbon), 아르곤(Argon)은 두 설정 모두에서 이를 해결했지만, 나머지 네 모델은 두 설정 모두에서 놓쳤습니다.
32,768 토큰 제한에 도달한 답변은 거의 모두 Gemma의 것이었습니다: Gemma 4 26B는 'minimal' 설정에서 네 번, 'high' 설정에서 세 번, Gemma 4 31B는 한 번과 두 번, 그리고 3.8 Flash는 'high' 설정에서 한 번이었습니다. 'minimal'에서는 답변을 작성하는 도중에 Gemma의 답변들이 제한에 도달했고, 'high'에서는 생각(thinking)하는 도중에 제한에 도달했습니다.
| Model | Cost, lowest | Cost, highest | Highest ÷ lowest | Mean thinking tokens, lowest → highest |
| --- | --- | --- | --- |
| Gemini 3.5 Flash-Lite | $0.1937 | $0.5049 | 🥇 2.61x | 0 → 12,624 |
| ... |
비용은 모든 15개 문제에 대한 것이며, API가 반환한 토큰 수를 기준으로 목록 가격이 책정되었습니다.
정답당 비용 역시 같은 추세를 보입니다. 가장 낮은 설정에서는 아르곤(Argon)이 $0.0162, 수소(Hydrogen)가 $0.0260, 탄소가 $0.0330이었으며; 가장 높은 설정에서는 동일한 15개의 정답에 대해 각각 $0.0523, $0.1232, $0.1297이었습니다.
Hydrogen는 여전히 이러한 문제들에서 처리했으며, 평균적으로 문제당 2,468 토큰을 사용했습니다. 이는 GSM8K에서도와 같습니다. Argon은 두 설정 모두에서 가장 적게 처리했으며, 최고 설정에서는 다른 모델들이 사용하는 양(11,613~15,742 토큰)보다 적은 4,129 토큰을 사용했습니다.
Step 7 — 차이가 노이즈보다 큰가?
본 감사(audit)는 연구 통계를 확인하기 위한 Claude Code 플러그인인 research-kit의 ablation-stat-auditor 스킬을 따릅니다. 이 스킬은 점수에 대한 동일 문제의 정확한 쌍별 테스트(exact paired test), 각 문제 출력 토큰에 대한 부호 순위 테스트(signed-rank test), 그리고 95% Wilson 구간을 포함하며, 모두 audit_stats.py에서 계산되었습니다.
| 모델 | 오른쪽, 최고 [95% 범위] | 오른쪽, 최저 [95% 범위] | 점수 쌍별 테스트 (Paired test on scores) | 출력 토큰, 최고 / 최저 |
|---|
| Gemma 4 31B | 13 [62.1, 96.3] | 12 [54.8, 93.0] | p = 1 | 182,736 / 79,971, p = 6.1e-05 |
| ... | | | | |
범위는 백분율입니다. 15개 문제의 경우, 노이즈에서 두드러지려면 고정 점수 대비 약 25점 또는 두 실행 간에 35점 정도의 이득이 있어야 합니다. 여기서 가장 큰 이득은 두 문제에서 나온 13점입니다. 따라서 점수 변화는 모든 모델에서 노이즈 범위 내에 있으며, 추가 토큰 사용량은 Gemma 4 26B를 제외한 모든 모델에서 노이즈보다 크지만, Gemma 4 26B는 가장 낮은 설정의 답변 네 개가 한계까지 실행되었기 때문에 15개 문제 중 11개 문제에서 최고 설정을 사용하여 더 많은 토큰을 사용했습니다.
Step 8 — 시간
| 모델 | 문제당 중앙값 초, 최저 | 최고 |
|---|
| Gemini 3.5 Flash-Lite | 9.8 | 32.8 |
| ... | | |
최고 설정은 유료 모델에서 3.2배에서 5.9배까지 더 오래 걸렸습니다. 무료 등급의 Gemma 모델들이 두 설정 모두에서 가장 느렸으며, 실행 길이는 이들로 인해 결정되었습니다.
🔎 팁: 최악의 경우를 대비하여 예산을 책정하고, 실제 값을 측정하세요.
실행 전에 알려진 유일한 숫자는 최악의 경우입니다: 문제 수 × 모델 수 × 출력 제한 × 가격. 여기서는 총액 $33.23이 나왔고, 이번 실행에서 $7.47을 사용했습니다. 예산에서 출력 제한을 설정하고, 모든 모델이 동일한 문제에 대해 멈출 수 있도록 문제를 라운드별로 보내세요.
비교 및 대조 (Compare and Contrast)
| 가장 낮은 설정 (Lowest setting) | 가장 높은 설정 (Highest setting) |
|---|
| 모든 팔, 7개 모델 | 🥇 $1.53 | $5.95 |
| ... | | |
이와 같은 문제 1,000개의 비용 분석 (What 1,000 Problems Like These Would Cost)
측정된 문제당 비용을 기준으로 한 리스트 가격:
| 모델 (Model) | 가장 낮은 설정 (Lowest) | 가장 높은 설정 (Highest) |
|---|
| Gemini 3.5 Flash-Lite | $12.91 | $33.66 |
| ... | | |
2026-12-01 가격 기준으로 Carbon은 1,000개당 $65.96 및 $259.45가 되며, Argon은 $32.33 및 $104.62입니다. Gemma 4는 무료 티어의 속도와 할당량 제한 내에서 무료로 이용 가능합니다 ($0).
그렇다면, 어떤 것을 선택해야 할까요? (So, Which One?)
어려운 수학 문제에 대해서는 Gemini 4 모델을 가장 낮은 설정부터 시작하세요. Hydrogen, Carbon, Argon은 그곳에서 모든 15문제를 해결했으며, 최고 설정을 사용했을 경우 동일한 답변에 대해 비용이 3.24배에서 4.75배 증가하고 시간이 3.2배에서 5.9배 증가했습니다.
더 작은 모델들의 경우, 최고 설정은 각 문제당 하나 또는 두 개의 문제를 추가로 얻었으며, 이는 15문제의 노이즈 범위 내에 있습니다. Flash-Lite에서는 비용이 2.61배, 3.8 Flash에서는 4.20배 증가했습니다. 결제하기 전에 직접 자체적인 문제로 측정해 보세요.
이 세트에서 정답당 가장 낮은 비용은 가장 낮은 설정의 Argon으로 $0.0162입니다. 최고 설정에서도 가장 적게 생각했습니다.
Google은 Carbon의 최고 설정을 아키텍처, 디버깅 및 보안 감사와 같은 어렵고 다단계적인 작업에 배치합니다. Gemini 4 모델이 낮은 설정에서 해결한 15개의 수학 문제는 그 경우를 테스트하지 않은 것입니다.
요약 (Summary)
이 기사의 목표는 어려운 문제에 대해 최고 사고(thinking) 설정이 무엇을 제공하고 비용이 얼마나 드는지 측정하는 것이었습니다. 해결의 핵심은 첫 번째 요청 전에 최악의 경우가 알려진 예산 하에서, 모든 7개 모델을 그들의 생각 범위 양 끝단인 동일한 15개의 AIME 2025 문제에 대해 실행하는 것이었습니다. 결과는 다음과 같습니다:
- 🟢 Hydrogen, Carbon 및 Argon은 가장 낮은 설정과 가장 높은 설정 모두에서 모든 15개 문제를 해결했습니다.
- ⚠️ 모든 유료 모델에서 가장 높은 설정은 가장 낮은 설정 대비 2.61배에서 4.75배의 비용이 발생했으며, 총 일곱 개 모델에 대해 각각 $5.95 대 $1.53이었습니다.
- ⚠️ 어떤 모델의 점수 변화도 실행 간 노이즈(run-to-run noise)보다 크지 않았으며, 가장 큰 이득은 두 문제였습니다.
- 🟢 Argon은 가장 낮은 설정에서 정답당 비용이 $0.0162로 가장 낮았습니다.
- 🟢 전체 파일럿 테스트 비용은 최악의 경우인 $33.23 대비 $7.47이었습니다.
- ⚠️ 가장 높은 설정은 유료 모델에서 문제당 3.2배에서 5.9배의 시간이 소요되었습니다.
- ❌ 무료 티어(free tier)의 Gemma 4 26B는 두 번 시간 초과가 발생했으며, 출력 제한에 도달한 횟수는 일곱 번이었습니다.
- ⚠️ Carbon과 Argon의 비용은 2026년 12월 1일에 두 배로 증가합니다.
범위(Scope): 2026년 11월 15일 미국 내 노트북에서 Gemini API를 호출했으며, 모델 및 설정별로 한 번의 실행을 진행했습니다. 모든 모델에 대해 온도는 0으로 설정되었고 출력 제한은 동일하게 32,768 토큰이었습니다. AIME 2025 I의 15개 문제가 사용되었습니다. 이 15개 문제는 추가적인 사고 과정(extra thinking) 비용을 보여줄 수는 있지만, 서로 두 문제 차이 내에 점수를 기록한 모델들을 순위 매기기는 어렵습니다. 비용은 토큰 수량과 목록 가격을 곱한 값입니다. 소요 시간에는 서비스 대기 시간이 포함되며 부하에 따라 변동될 것입니다. Google은 이들 모델 중 어떤 하드웨어 또는 엔진이 서비스를 제공하는지 밝히지 않았습니다.