효율성이 비용에 미치는 영향

AI 코딩 모델을 평가할 때 토큰당 비용(Cost per token)에 대한 이야기가 많이 나오지만, 그것만으로는 전체 상황을 제대로 파악할 수 없습니다.

작업을 완료하는 데 훨씬 더 많은 토큰을 사용하는 저렴한 모델이 결과적으로는 더 비쌀 수도 있습니다.

모델의 성능이 사고 수준(thinking levels)에 따라 크게 달라진다는 점을 고려하면, 상황은 이해하기 더욱 복잡해집니다.

비용을 제대로 이해하려면 모델의 토큰 효율성(token efficiency)을 고려해야 합니다.

이 지점에서 DeepSWE v1.1과 같은 벤치마크(benchmarks)가 진가를 발휘합니다.

DeepSWE란 무엇인가

DeepSWE는 실제의 장기적인 소프트웨어 엔지니어링 작업에서 AI 코딩 에이전트(AI coding agents)를 측정하는 잘 알려진 제3자 벤치마크입니다.

결정적으로, 이 벤치마크는 작업당 평균 비용(average cost per task)과 함께 성능을 보고합니다.

차트는 두 개의 축 — '통과율 (pass rate)' 대 '평균 비용 (average cost)' — 에 모델들을 배치합니다.

이상적인 구역은 우측 상단입니다. 모델이 이 구역에 가까워질수록 성능이 더 뛰어나고 비용 효율적(cost-efficient)이라는 것을 의미합니다.

Chart depicting AI model benchmarks broken out by thinking level

참고 — 위 스크린샷에서는 차트의 가독성을 위해 일부 모델이 제외되었습니다.

놀라운 결과!

High 사고 수준(많은 개발자가 일상적으로 사용하는 수준)에서, Opus 4.8은 두 축 모두에서 Sonnet 5를 상대로 승리합니다.

Chart depicting AI model benchmarks of Opus 4.8 vs Sonnet 5

이는 효율성을 고려했을 때 Opus 4.8이 성능이 더 뛰어나면서도 더 저렴하다는 것을 보여줍니다. 이는 대부분의 사람들이 예상하는 결과가 아닙니다.

또한, Max 사고 레벨 (thinking level)에서의 Sonnet 5는 어떤 사고 레벨의 Opus 4.8보다 훨씬 더 비싸게 작동합니다. 이 또한 예상치 못한 결과입니다.

주의해야 할 점

모든 벤치마크 (benchmarks)가 독립적인 것은 아니며, 결과가 모든 실제 사용 사례를 완벽하게 반영하지는 않을 것입니다. 하지만 핵심적인 요점은 변함이 없습니다. 모델마다 토큰 효율성 (token efficiency)이 크게 다르며, 이는 소규모 규모에서도 비용에 매우 실질적인 영향을 미친다는 것입니다.

요약

이 차트들은 여러분이 더 정보에 기반한 결정을 내릴 수 있도록 더 날카로운 시각을 제공합니다.

전체적이고 최신화된 결과는 DeepSWE 웹사이트를 확인하세요.

👉 deepswe.datacurve.ai/blog/deepswe-v1-1