토큰 비용을 처음부터 줄이는 법: 2026년에 아무도 말해주지 않는 것

토큰 비용을 처음부터 줄이는 법: 2026년에 아무도 말해주지 않는 것

저는 지난 3년 동안 팀들이 폐쇄적인 AI 서비스(proprietary AI services)로부터 벗어나도록 전환하는 데 시간을 보냈습니다. 그들 모두는 저와 똑같은 깨달음을 얻었습니다. 제품을 폐쇄된 생태계(walled garden) 위에 구축하는 순간, 당신은 더 이상 고객이 아닙니다. 당신은 인질입니다. 2026년의 토큰 가격 책정은 그 상황을 더욱 황당하게 만들었으며, 저는 수십 개의 프로덕션 배포(production deployments) 과정에서 이 수치들과 씨름하며 배운 것들을 정확히 여러분께 알려드리고자 합니다.

제 편향성에 대해 미리 분명히 밝히겠습니다. 저는 제 코드를 MIT 라이선스로 배포합니다. 저는 Apache 2.0 라이선스로 배포되는 프로젝트에 기여합니다. 저는 만약 당신이 의존하는 소프트웨어를 실행, 검사, 감사 및 수정할 수 없다면, 그것에 진정으로 의존하고 있는 것이 아니라고 믿습니다. 당신은 그것을 임대하고 있는 것입니다. 그리고 2026년, AI 토큰 시장은 소프트웨어 산업 역사상 가장 비싼 임대 경제(rental economy)로 성숙했습니다. 현재 Global API를 통해 184개의 모델을 사용할 수 있으며, 가격은 100만 토큰당 0.01달러에서 3.50달러 사이입니다. 이 범위만 보더라도 거대 기업들이 제품 가격을 책정하는 방식에 무언가 문제가 있다는 것을 알 수 있을 것입니다.

내가 뻔한 선택을 신뢰하지 않게 된 이유

제 친구 중 한 명은 작은 분석 스타트업을 운영합니다. 작년에 그는 GPT-4o를 사용하여 회의 녹취록을 요약하는 기능을 출시했습니다. 데모는 훌륭해 보였습니다. 첫 번째 인보이스(invoice)는 괜찮았습니다. 두 번째 인보이스를 보고 그는 욕설을 내뱉었습니다. 3개월 차에 접어들자, 그의 추론(inference) 비용이 총 매출의 3분의 1을 잡아먹고 있었습니다. 그는 공황 상태에 빠져 저에게 전화했고, 우리는 함께 계산을 해보았습니다.

GPT-4o의 비용은 입력 토큰 100만 개당 2.50달러, 출력 토큰 100만 개당 10.00달러입니다. 이것이 공표된 가격입니다. 대시보드에 표시되는 수치이기도 합니다. 하지만 아무도 말해주지 않는 것, 그리고 영업 사원들이 절대 먼저 꺼내지 않을 사실은 폐쇄형 소스 (closed source) 제공업체를 통해 추론 (inference)을 실행하는 실제 비용에는 여러 숨겨진 계층이 포함되어 있다는 점입니다. 과다 프로비저닝 (overprovisioning)을 강제하는 속도 제한기 (rate limiter)가 있습니다. 규모를 확장할 때 슬그머니 올라가는 지역별 가격 차등 (regional pricing differential)이 있습니다. 동일한 가격에 더 나쁜 모델을 제공하게 되는 모델 버전 폐기 (model version deprecation)가 있습니다. 또한 가중치 (weights)를 캐싱할 수 없고, 모델을 직접 실행할 수 없으며, 가중치가 예고 없이 변경되기 때문에 재현 가능한 벤치마크 (benchmark)조차 수행할 수 없다는 사실이 있습니다.

이를 128K 컨텍스트 창 (context window)을 갖추고 입력 0.27달러, 출력 1.10달러인 DeepSeek V4 Flash와 비교해 보십시오. 입력 토큰 기준으로 GPT-4o보다 대략 9배 저렴합니다. 출력 토큰의 경우 거의 90%를 절약할 수 있습니다. 만약 제 친구의 제품이 처음부터 DeepSeek V4 Flash를 기반으로 구축되었다면, 그의 청구서는 반올림 오차 수준에 불과했을 것입니다.

내 워크플로우를 바꾼 가격표

나는 이 표를 모니터 위에 고정해 둡니다. 모든 새로운 프로젝트는 여기서 시작됩니다. 모든 마이그레이션 (migration) 논의는 이 숫자들로부터 시작됩니다. 미사여구를 붙이지는 않겠지만, 중요한 오픈 소스 (open source) 맥락을 추가하겠습니다.

128K 컨텍스트에 0.27달러/1.10달러인 DeepSeek V4 Flash 모델은 연구 내용을 공개하는 팀에 의해 구축되었습니다. 가중치는 사용 가능하며, 아키텍처 (architecture)는 문서화되어 있고, 라이선스는 상업적 이용을 허용합니다. 나는 개인적으로 이 가중치들을 다운로드하여 베어 메탈 (bare metal)에서 실행해 보았습니다. 이는 GPT-4o로는 절대 할 수 없는 일이며, 검증하고, 포크 (fork)하고, 내 자체 인프라에 배포할 수 있는 자유는 토큰당 가격을 논하기 전부터 이미 실질적인 가치를 지닙니다.

DeepSeek V4 Pro는 200K 컨텍스트 (context) 기준 $0.55/$2.20의 가격을 형성하고 있습니다. 문서 분석을 위해 더 긴 컨텍스트 윈도우 (context window)가 필요할 때, 이것이 저의 기본 선택지입니다. 32K 컨텍스트 기준 $0.30/$1.20인 Qwen3-32B는 해당 윈도우 안에 여유롭게 들어가는 작업들을 처리하는 일꾼 역할을 합니다. 예산이 가장 큰 제약 조건이고 작업에 절대적인 프론티어 (frontier) 역량이 필요하지 않을 때는 128K 컨텍스트 기준 $0.20/$0.80인 GLM-4 Plus를 사용합니다.

숫자는 거짓말을 하지 않습니다. 폐쇄형 소스 (closed source) 옵션은 비용이 10배(an order of magnitude) 더 비싸며, 그 대가로 모든 의미 있는 형태의 통제권을 포기해야 합니다.

내가 실제로 이를 연결하는 방법

제가 작성하는 대부분의 코드는 오픈 추론 엔드포인트 (open inference endpoint)를 가리키는 OpenAI Python 클라이언트 (client)를 사용합니다. Global API는 global-apis.com/v1에서 OpenAI 호환 인터페이스 (interface)를 제공하므로, 모델이나 제공업체를 변경할 때 애플리케이션 코드를 다시 작성할 필요가 전혀 없습니다. 저는 그저 문자열 하나만 바꾸면 됩니다. 다음은 제가 현재 프로덕션 (production) 환경에서 실행 중인 코드 스니펫 (snippet)의 예시입니다.

import openai
import os

...

그게 전부입니다. 독점적인 SDK (SDK), 특정 벤더에 종속된 클라이언트 라이브러리 (client library), 특별한 헤더 (headers), 복잡한 인증 절차도 없습니다. 참고로 OpenAI 클라이언트 라이브러리 자체는 MIT 라이선스 (MIT license)이므로, 저는 모든 코드를 읽을 수 있고 필요하다면 수정할 수도 있으며, 라이브러리가 제 프롬프트 (prompt)로 무엇을 하는지 의심할 필요도 없습니다.

채팅 인터페이스를 위해 스트리밍 (streaming)이 필요할 때는 플래그 (flag) 하나만 바꾸면 됩니다. 동일한 라이브러리, 동일한 엔드포인트, 동일한 자유입니다.

stream = client.chat.completions.create(
    model="Qwen3-32B",
    messages=[{"role": "user", "content": "Explain RAG to me"}],
...

이러한 패턴을 통해 저는 애플리케이션 코드를 건드리지 않고도 프로젝트 중간에 모델을 교체할 수 있습니다. 지난달에는 고객의 전체 워크로드 (workload)를 독점 엔드포인트에서 DeepSeek V4 Pro로 약 한 시간 만에 이전했습니다. 변경 사항은 단 하나의 환경 변수 (environment variable)였습니다. 비용은 70% 감소했습니다. 새 모델이 해당 작업에 더 적합했기 때문에 품질은 오히려 향상되었습니다.

내 예산을 아껴준 다섯 가지 습관

저는 이제 반사적으로 적용할 수 있을 정도의 습관들을 형성할 만큼 오랫동안 이 일을 해왔습니다. 이 중 어떤 것도 비밀은 아닙니다. 어떤 것도 무언가를 구매할 필요가 없습니다. 그저 다른 인프라 비용을 생각하는 방식처럼 추론 (Inference) 비용을 생각하기만 하면 됩니다.

첫째, 저는 공격적으로 캐싱 (Cache)을 합니다. 요약 (Summarization) 파이프라인에서 40%의 캐시 히트율 (Cache hit rate)을 달성하면 하룻밤 사이에 토큰 지출을 절반으로 줄일 수 있습니다. 저는 의미론적 유사도 매칭 (Semantic similarity matching)을 위해 Redis를 사용하지만, 사용자들이 동일한 질문의 변형을 던질 때 단순한 완전 일치 (Exact-match) 캐시만으로도 놀라울 정도로 많은 트래픽을 잡아낼 수 있습니다.

둘째, 저는 응답을 스트리밍 (Stream)합니다. 스트리밍은 지불해야 하는 토큰 수를 줄여주지는 않지만, 사용자 경험 (User experience)을 변화시킵니다. 모델이 출력을 생성하기 시작하는 데 평균 1.2초가 걸리고 초당 320 토큰의 처리량 (Throughput)이 나오는 상황에서, 스트리밍은 살아있는 것처럼 느껴지는 제품과 고장 난 것처럼 느껴지는 제품 사이의 차이를 만듭니다. 지연 시간 (Latency) 수치는 실재하며, 처리량 (Throughput) 수치도 실재합니다. 스트리밍은 이 두 가지 모두를 더 좋게 느껴지게 만듭니다.

셋째, 단순한 쿼리는 더 저렴한 모델로 라우팅 (Route)합니다. 분류 (Classification), 추출 (Extraction), 의도 탐지 (Intent detection), 그리고 짧은 형식의 생성 (Short-form generation)을 위해 프런티어 (Frontier) 모델의 가격을 지불할 이유는 없습니다. $0.20/$0.80 가격의 GLM-4 Plus와 같은 모델은 이러한 작업들을 훌륭하게 처리하며, 기본적으로 비싼 티어의 모델을 사용하는 것에 비해 약 50%의 비용 절감을 제공합니다.

넷째, 가동 시간 (Uptime)을 모니터링하는 것과 동일한 방식으로 품질을 모니터링합니다. 모델 변경으로 인해 사용자 만족도가 단 몇 퍼센트라도 떨어진다면, 저는 즉시 그 사실을 알고 싶습니다. 저에게 중요한 벤치마크 (Benchmark) 수치는 제가 사용하는 모델들의 평균 벤치마크 점수인 84.6%이지만, 이는 시작점일 뿐입니다. 실제 사용자가야말로 실제로 의미 있는 유일한 지표입니다.

다섯째, 폴백 (Fallback)을 구현합니다. 모든 엔드포인트 (Endpoint)는 속도 제한 (Rate limit)이 걸릴 수 있습니다. 모든 제공업체 (Provider)는 장애 (Outage)가 발생할 수 있습니다. 단일 폐쇄형 소스 (Closed source) 제공업체에만 의존하면, 더 많은 비용을 지불하거나 서비스를 포기하는 것 외에는 대안이 없습니다. 통합 SDK를 제공하는 Global API를 사용하면 몇 초 만에 장애를 우회하여 라우팅할 수 있습니다.

제가 주시하는 수치들

워크로드를 산정할 때, 저는 세 가지 수치를 확인합니다. 백만 토큰당 비용(cost per million tokens)은 가장 명백한 지표이지만, 그것만이 중요한 것은 아닙니다. 폐쇄형 소스(closed source) 대안들과 비교했을 때 제가 체감하는 40~65%의 비용 절감은 헤드라인일 뿐이며, 실제 사용자 경험이 좋게 느껴지는지를 결정하는 것은 지연 시간(latency)과 처리량(throughput)입니다.

제 벤치마크 결과에 따르면, 제가 가장 빈번하게 사용하는 모델들의 평균 지연 시간은 첫 번째 토큰(first token)까지 약 1.2초 정도입니다. 처리량은 초당 약 320토큰 수준입니다. 이 수치들은 마케팅 슬라이드가 아닌 실제 운영 트래픽(production traffic)에서 나온 것입니다. 이 수치들은 긴 생성(generation) 과정에서도 스트리밍(streaming)이 항상 반응성 있게 느껴질 만큼 충분히 좋습니다.

84.6%라는 벤치마크 점수가 세 번째 수치입니다. 이것이 귀하의 특정 작업에 대한 품질을 완벽하게 대변하는 지표는 아니지만, 대부분의 애플리케이션이 필요로 하는 구조적 추론(structured reasoning)의 종류와 높은 상관관계를 보입니다. 표준 스위트(standard suite)에서 모델 점수가 80% 미만으로 떨어지는 것을 보면, 고객 대상 워크로드(customer-facing workloads)에 신뢰하고 맡기기 전에 주의 깊게 테스트합니다.

라이선스가 지연 시간보다 더 중요한 이유

앞서 언급했던 내용으로 다시 돌아가고 싶은데, 그 부분이 바로 저를 밤잠 설치게 만드는 지점이기 때문입니다. 폐쇄형 소스의 독점적인 월드 가든(walled garden) 모델 위에서 구축할 때, 여러분은 단순히 토큰당 너무 많은 비용을 지불하는 것만이 아닙니다. 협상하거나, 감사(audit)하거나, 탈출할 수 없는 긴 약관 목록을 수용하는 것이기도 합니다.

모델을 오프라인으로 실행할 수 없습니다. 데이터를 타인의 서버로 보내지 않고는 여러분의 독점 데이터로 미세 조정(fine-tune)할 수 없습니다. 오늘 호출하는 가중치(weights)가 어제 호출했던 가중치와 동일한지 확인할 수 없습니다. 재현 가능한 추론(reproducible inference)이 요구되는 규제 환경에 제품을 출시할 수 없습니다. 사용량이 늘어남에 따라 가격을 협상할 수 없습니다. 통합(integration) 코드를 다시 작성하지 않고는 경쟁사로 전환할 수 없습니다. 소스 코드를 읽을 수 없습니다. 포크(fork)할 수 없습니다. 버그를 수정할 수 없습니다. 비용을 지불하고 희망을 갖는 것 외에는 아무것도 할 수 없습니다.

이와 대조적으로 오픈 소스 (open source) 경로는 다릅니다. 가중치 (weights)를 직접 다운로드할 수 있습니다. 라이선스 (typically Apache 2.0 또는 MIT, 저는 제 프로젝트에서 이 두 가지를 모두 사용해 왔습니다)는 상업적 권리, 수정 권리, 그리고 재배포 권리를 부여합니다. 연구 논문들은 공개되어 있습니다. 훈련 데이터 (training data)는 적어도 이 분야의 책임감 있는 행위자들에 대해서는 문서화되어 있습니다. 원한다면 자신의 데이터 센터에 있는 GPU에서 추론 (inference)을 실행할 수 있습니다. 미세 조정 (fine-tune)을 할 수 있습니다. 감사를 수행할 수 있습니다. 그리고 밤에 잠을 편히 잘 수 있습니다.

이것은 이데올로기가 아닙니다. 이것은 리스크 관리 (risk management)입니다. 검사할 수 없는 모든 의존성 (dependency)은 당신을 무너뜨릴 수 있는 의존성입니다. 2026년에 폐쇄형 소스 (closed source)와 오픈 소스 추론의 차이는 블랙박스를 빌려 쓰는 것과 기계를 소유하는 것의 차이입니다. 토큰 가격은 그 비교의 한 측면일 뿐이며, 솔직히 말해서 가장 중요한 측면조차 아닙니다.

소매가로 여전히 비용을 지불하고 있는 팀들에게 제가 해주는 말

만약 이 글을 읽으면서 당신의 추론 비용이 제 친구의 비용과 수상할 정도로 비슷하다는 것을 깨달았다면, 제가 아는 가장 간단한 마이그레이션 (migration) 경로를 알려드리겠습니다.

Global API 계정을 설정하십시오. 통합 SDK (unified SDK)는 184개의 모든 모델을 단일 OpenAI 호환 인터페이스를 통해 노출합니다. 기존 클라이언트를 global-apis.com/v1으로 지정하십시오. 가격표에 있는 2~3개의 오픈 모델에 대해 동일한 프롬프트 (prompts)를 실행해 보십시오. 합성 벤치마크 (synthetic benchmarks)가 아니라 실제 워크로드 (workload)에서 품질을 측정하십시오. 가설적인 규모가 아니라 실제 트래픽 (traffic)에서 비용을 측정하십시오.

제 경험상, 이러한 과정을 거치는 팀들은 한 시간 이내에 최소 40% 더 저렴한 모델을 찾아내며, 종종 하루 이내에 65%에 가까운 비용 절감 효과를 발견합니다. SDK가 OpenAI와 호환되기 때문에 설정 시간은 일관되게 10분 미만입니다. 마이그레이션은 코드 한 줄이면 끝납니다.

팀이 실제로 정직하게 비교를 수행한 이후, 폐쇄형 소스 옵션이 올바른 선택이었던 워크로드를 단 하나도 발견하지 못했습니다. 단 하나도 말입니다.

직접 시도해 보세요

여기까지 읽으셨다면, 아마도 여러분의 실제 트래픽에 대한 수치를 직접 확인하고 싶으실 것입니다. Global API는 가입 시 100개의 무료 크레딧을 제공하며, 이는 184개의 모델 대부분을 실제 프롬프트(prompt)로 테스트하기에 충분한 양입니다. 영업 전화도, 엔터프라이즈 계약도, 구매 부서도 필요 없습니다. 오직 API 키와 베이스 URL(base URL)만 있으면 됩니다.

이것이 설득하기 어려운 제안인 척하지 않겠습니다. 만약 여러분이 이미 자체 인프라에서 오픈 웨이트(open weights) 모델을 실행하고 있다면, 저의 도움이 필요하지 않습니다. 하지만 만약 여러분이 거대 폐쇄형 소스(closed source) 벤더에게 소매가(retail price)를 지불하고 있다면, 최소한 검토는 반드시 해봐야 합니다. 직접 비교를 수행하고 싶다면 Global API를 확인해 보십시오. 최악의 경우라도 현재의 설정이 최적임을 확인하는 계기가 될 것이며, 최선의 경우라면 추론(inference) 예산의 상당 부분을 절약하고 의존하고 있는 스택(stack)을 실제로 소유할 수 있는 자유를 얻게 될 것입니다.

어느 쪽이든, 여러분이 작성하는 코드의 라이선스는 MIT 또는 Apache 2.0이어야 하며, 여러분이 실행하는 모델은 검사 가능하고(inspectable), 수정 가능하며(modifiable), 이식 가능(portable)해야 합니다. 그 외의 모든 것은 결국 여러분이 패배하게 될 협상의 대상일 뿐입니다.