Gemini 4 Carbon이 어제 유료 API 사용자에게 공개되었고, Carbon과 Argon 모두 동일한 가격($2 입력 / $10 출력, 1백만 토큰 기준, 11월 30일까지)을 책정했습니다. 그래서 저는 두 모델을 같은 작업에 대해 API로 실행하여 실제 비용이 어느 정도인지 확인해 보았습니다.
제가 수행한 작업은 다음과 같습니다: 사무실 스타일의 과제 3가지 x 3회 (지저분한 이메일에서 필드 추출, 단계별 커미션 계산, 120단어 사과 이메일 작성)를 코드 기반으로 평가하고, 정확한 답이 필요한 어려운 수학 문제 10개를 각각 한 번씩 실행했습니다. 모두 기본 사고 레벨(default thinking level)로 설정했습니다.
정확도: 사무실 과제는 Carbon이 45/45, Argon이 44/45였습니다 (Argon의 오답은 120단어 제한에 대한 123단어 이메일이었습니다). 어려운 문제는 둘 다 10/10이었습니다. 제가 맡긴 과제들이 두 모델을 구분하기에는 충분히 어렵지 않았습니다.
사고 토큰(thinking tokens): 사무실 과제에서 Carbon은 5,239개를 사용했고, 어려운 문제 세트에서는 10,982개를 사용했습니다. Argon은 각각 0개와 1,018개를 사용했습니다. 눈에 보이는 답변 길이는 거의 비슷했습니다.
비용: 사무실 과제는 Carbon이 $0.0669, Argon이 $0.0148로 (4.5배 차이) 발생했습니다. 어려운 문제 세트는 각각 $0.1461 대 $0.0494로 (3배 차이) 발생했습니다.
속도: 사무실 과제에서 중앙값은 Carbon이 9.5초, Argon이 5.9초였습니다. $\ln(\sin x)$ 적분 문제는 Carbon에 3,836개의 사고 토큰과 40.9초가 걸린 반면, Argon은 사고 과정 없이 10.1초 만에 정확하게 해결했습니다.
사고 레벨 낮음(thinking_level low): Carbon은 사고 토큰을 사용하지 않았지만 여전히 45/45와 10/10을 달성했고, 비용도 Argon과 동일한 $0.0147 / $0.0459가 발생했습니다.
제한 사항: 어려운 문제당 한 번의 실행만 가능했으며, 사고 토큰 수는 실행마다 편차가 매우 큽니다 (Carbon의 이메일 과제는 555개에서 1,031개 사이). 또한 Google이 Carbon을 위해 설계했다고 하는 장기적인 에이전트 코딩(agentic coding)은 테스트하지 않았습니다. Carbon의 낮은 레벨 호출 중 3건은 명확한 이유 없이 각각 34초에서 54초가 걸렸습니다.
결론: 제 결론은 이렇습니다. Argon 작업을 Carbon으로 옮겨서 출시 가격에 사용하는 것은 권장하지 않습니다. 만약 Carbon을 사용해 보려면, 'thinking_level low'부터 시작하고 답변이 실제로 더 좋아질 때만 레벨을 높여야 합니다. 추가적인 사고 과정(extra thinking)이 효과를 발휘하는 실제 코딩 작업에서 Carbon이 Argon을 능가한 사례를 본 사람이 있나요?
제출자: /u/ranthishq [링크] [댓글]