이 DeepSeek API 트릭을 더 빨리 알았더라면 — 나의 상세 분석

지난 분기에 제가 했던 가장 어리석은 일에 대해 말씀드리겠습니다. 저는 고객의 지원 티켓 분류기(support ticket classifier)를 위해 GPT-4o 호출에 매주 400달러를 쏟아붓고 있었습니다. 모델은 훌륭했습니다. 오해는 마세요. 하지만 수학적 계산이 제 마진(margin)을 갉아먹고 있었습니다. 저는 1인 기업입니다. 벤더에게 가는 모든 달러는 제가 집에 가져가지 못하는 달러입니다. 그리고 마침내 Global API를 통해 DeepSeek의 실제 수치를 계산해 보았을 때, 저는 시간을 되돌려 제 손등을 때리고 싶었습니다.

그래서 이 포스트는 제가 3개월 전에 존재했기를 바랐던 내용입니다. 만약 당신이 고객의 LLM(Large Language Model) 작업을 수행하는 프리랜서라면, 계속 읽어주세요. 실제 비용, 설정 방법, 그리고 제가 처음부터 다시 시작한다면 이 비용을 어떻게 다르게 청구할지에 대해 자세히 설명해 드리겠습니다.

저를 전환하게 만든 냉혹한 수학적 사실

먼저 가공되지 않은 수치부터 보여드리겠습니다. 이것은 Global API의 가격 페이지에서 가져온 100만 토큰(million tokens)당 요금입니다. 네, 저는 부트스트래핑(bootstrapping)을 할 때 꼼꼼한 계산(精打细算)은 선택이 아닌 필수이기 때문에 스프레드시트를 관리합니다.

모델	입력 $/M	출력 $/M	컨텍스트 윈도우 (Context Window)
DeepSeek V4 Flash	0.27	1.10	128K
...

GPT-4o 출력 라인을 보세요. 100만 토큰당 10.00달러입니다. 사용량이 많은 주에는 그 모델을 통해 8,000만 개의 출력 토큰을 밀어냈습니다. 곱셈을 해보세요: 800달러입니다. 오직 출력 비용만요. 입력 비용은 또 다른 200달러였습니다. 즉, 한 달에 2,500달러를 청구하는 프로젝트를 위해 추론(inference) 비용으로만 매주 1,000달러를 쓰고 있었던 것입니다.

그것은 마진이 아닙니다. 그것은 돈을 태우는 용광로입니다.

동일한 워크로드를 출력당 2.20달러인 DeepSeek V4 Pro로 실행했을 때, 제 청구 금액은 출력 약 176달러, 입력 44달러로 떨어졌습니다. 총 220달러입니다. 저는 매주 780달러를 절약했습니다. 게다가 분류 작업의 품질은 제가 직접 만든 평가 세트(eval set)에서 GPT-4o와 불과 몇 퍼센트 차이밖에 나지 않았습니다.

뒤에 계신 프리랜서분들을 위해 다시 한번 크게 말씀드리겠습니다: 매주 780달러입니다. 매주 말이죠. 제가 이미 하고 있던 작업에 대해서 말입니다.

직접 연결하는 대신 Global API를 선택한 이유

문제는 이겁니다. DeepSeek에는 직접 API가 있고, OpenAI도 마찬가지이며, 다른 약 100개의 제공업체들도 그렇습니다. 저는 다섯 개의 서로 다른 SDK를 연결하고, 다섯 개의 서로 다른 API 키를 관리하며, 프랑켄슈타인 같은 라우터(Frankenstein router)를 만들 수도 있었습니다. 하지만 저는 사이드 허슬(side-hustle, 부업) 운영자입니다. 다섯 개의 대시보드를 일일이 관리할 시간이 없습니다.

Global API는 저에게 단일 엔드포인트(endpoint), 단일 청구서, 그리고 100만 토큰당 0.01달러에서 3.50달러 사이의 가격대를 가진 184개의 모델에 대한 접근 권한을 제공합니다. 기본 URL(Base URL)은 https://global-apis.com/v1이며, 이들은 OpenAI SDK 형식을 사용합니다. 이는 제가 이미 작성해 둔 코드가 기본적으로 단 한 줄의 설정 변경만으로 작동한다는 것을 의미합니다.

1인 개발자에게 이것은 결코 작은 일이 아닙니다. 그것은 토요일을 벤더 통합(vendor integrations)을 유지보수하는 데 쓰느냐, 아니면 강아지 공원에서 보내느냐의 차이입니다.

실제 클라이언트 프로젝트에 들어가는 코드

좋습니다, 설정 방법을 보여드리겠습니다. 저는 대부분의 툴링(tooling)을 Python으로 작성하며, 통합 과정은 솔직히 지루할 정도입니다. 하지만 그것이 바로 제가 인프라(infrastructure)에 원하는 바입니다. 지루하다는 것은 제대로 작동한다는 뜻이니까요.

제가 클라이언트 작업의 대부분에 사용하는 기본적인 호출 방식은 다음과 같습니다:

import openai
import os

...

DeepSeek V4 Flash와 함께 사용하는 저 response_format 플래그는 구조화된 출력(structured output)을 안정적으로 처리합니다. 전환 이후 파싱 실패(parse failures)는 거의 없었습니다. 수천 번의 호출 중 아마 한 번 정도였을 겁니다. 예전 GPT-4o 설정에서는 가끔 잘못된 형식의 JSON을 반환하여 다운스트림 파이프라인(downstream pipeline)을 망가뜨렸기 때문에 전체 과정을 재시도 루프(retry loop)로 감싸야 했습니다. 그 재시도 루프는 제가 월간 비용(monthly burn)에 계산조차 하지 못한 추가 토큰을 낭비하게 만들었습니다.

Flash 티어는 분류(classification) 및 추출(extraction) 작업에 대한 저의 기본 설정입니다. 입력 100만 토큰당 0.27달러, 출력 100만 토큰당 1.10달러의 가격으로, 대량의 저위험 작업에 적합한 도구입니다. 저는 더 큰 200K 컨텍스트 윈도우(context window)나 더 높은 추론 품질이 진정으로 필요한 경우에만 V4 Pro를 예약해 두는데, 이는 전체 호출의 약 15% 정도입니다.

더 나은 UX를 위한 스트리밍 (그리고 제가 비용을 다르게 청구하는 이유)

저의 챗봇 프로젝트의 경우, 저는 항상 스트리밍 (Streaming)을 사용합니다. 두 가지 이유가 있습니다. 첫째, 체감 지연 시간 (Perceived latency)이 거의 제로에 가깝게 떨어집니다. 사용자는 전체 응답을 기다리는 대신 200ms 이내에 토큰이 채워지는 것을 보게 됩니다. 둘째, 사용자가 중지 버튼을 누르는 순간, 저는 과금을 중단합니다. 토큰당 비용을 지불할 때는 이 마지막 부분이 매우 중요합니다.

다음은 비용 추적 기능이 내장된 스트리밍 예시입니다:

import openai
import os
import time
...

저는 개발 (Dev) 및 스테이징 (Staging) 환경에서 해당 비용 로그를 실행합니다. 이는 지출을 구체화해 줍니다. 단일 채팅 세션에서 80센트가 쌓이는 것을 보면, 시스템 프롬프트 (System prompt)를 줄이거나 해당 사용자를 더 저렴한 티어 (Tier)로 전환해야 한다는 것을 알게 됩니다. 측정하지 않는 것은 최적화할 수 없습니다.

제가 첫날부터 명문화했더라면 좋았을 베스트 프랙티스 (Best Practices)

제가 현재 따르고 있는 운영 규칙들을 그냥 쏟아내 보겠습니다. 이것들은 제가 먼저 실수하면서 얻은 결과물들입니다.

가능한 모든 것을 캐싱 (Cache) 하세요. 제 분류기 (Classifier)에서 40%의 캐시 히트율 (Cache hit rate)을 달성했을 때, 호출당 실질 비용이 무려 40% 감소했습니다. 티켓은 파도처럼 몰려옵니다. 동일한 제품, 동일한 질문들이죠. 만약 결제 버그에 대해 이미 알림을 받고 있다면, 그것을 분류하기 위해 비용을 두 번 지불해서는 안 됩니다. 저는 티켓 텍스트의 해시 (Hash) 값을 키로 사용하고 24시간 TTL (Time To Live)이 설정된 Redis를 사용합니다. 조회 시간은 1밀리초 미만입니다. 절감 효과는 실질적입니다.

라우팅 (Routing)에는 저렴한 모델을 사용하세요. 저는 2단계 파이프라인을 구축했습니다. 1단계에서는 출력 100만 토큰당 0.80달러인 GLM-4 Plus를 사용하여 들어오는 요청을 살펴보고 결정합니다: 이것이 단순한가, 아니면 어려운가? 단순하다면 DeepSeek V4 Flash로 넘깁니다. 어렵다면 V4 Pro로 에스컬레이션 (Escalate) 합니다. 트래픽의 약 60%가 저렴한 경로로 진행됩니다. 전체 추론 (Inference) 비용은 모든 것을 V4 Pro로 실행했을 때의 약 절반 수준입니다.

채팅은 스트리밍으로, 그 외 모든 것은 배치 (Batch)로 하세요. 스트리밍은 오버헤드 (Overhead)를 추가합니다. 새벽 2시에 CSV 파일에 대해 대량 분류를 수행하고 있다면, 저는 스트리밍을 하지 않습니다. 저는 50개의 티켓을 하나의 프롬프트에 담아 모델이 한꺼번에 처리하도록 합니다. 이렇게 하면 시스템 프롬프트 오버헤드가 배치 전체에 걸쳐 분할 amortize 되기 때문에 항목당 비용을 약 30% 정도 절감할 수 있습니다.

비용만이 아니라 품질을 추적하세요. 품질이 없는 비용 절감은 그저 저렴해지는 것일 뿐입니다. 저는 200개의 항목으로 구성된 평가 세트 (eval set)를 유지하며, 배포하려는 모델이 무엇이든 이를 통해 테스트를 실행합니다. DeepSeek V4 Pro는 저의 분류기 평가 (classifier eval)에서 84.6%를 기록했는데, 이는 동일한 세트에서의 GPT-4o와 대등한 수준입니다. 만약 이 수치가 80% 미만으로 떨어진다면, 저는 다시 이전 모델로 돌아갈 것입니다. 숫자는 거짓말을 하지 않습니다.

폴백 (Fallback)을 설정하세요. Global API도 다른 모든 제공업체와 마찬가지로 속도 제한 (rate limits)이 있습니다. 저는 클라이언트를 간단한 재시도 및 폴백 데코레이터 (retry-and-fallback decorator)로 감싸서 사용합니다. 기본 모델이 실패하나요? 보조 모델을 시도합니다. 보조 모델도 실패하나요? 요청을 큐 (queue)에 넣고 나중에 다시 시도합니다. 제 클라이언트들은 이를 눈치채지 못합니다. 덕분에 저는 밤에 잠을 편히 잡니다.

부업 계산기 (The Side-Hustle Calculator)

제가 현재 클라이언트 프로젝트의 가격을 책정할 때 사용하는 정확한 프레임워크를 알려드리겠습니다. 만약 클라이언트가 월간 메시지 100,000개, 메시지당 평균 입력 토큰 500개 및 출력 토큰 300개를 사용하는 챗봇을 원한다면 다음과 같습니다:

• GPT-4o 경로: 5,000만 개의 입력 토큰 = $125, 3,000만 개의 출력 토큰 = $300. 총 $425/월. 제 인건비를 고려하기 전이라도, 안전을 위해 최소 $850/월은 청구해야 합니다.
• DeepSeek V4 Flash 경로: 5,000만 개의 입력 = $13.50, 3,000만 개의 출력 = $33. 총 $46.50/월. 저는 클라이언트에게 $200/월을 청구하며, 우리 모두가 승리합니다.

동일한 채팅 제품, 동일한 서비스 수준 협약 (SLA), 동일한 인도 노력입니다. 차이점은 제가 실제로 실질적인 마진 (margin)을 챙길 수 있다는 것입니다. 클라이언트는 장부상에서 75% 더 낮은 비용 항목을 보게 됩니다. 스프레드시트를 포함해 모두가 행복해집니다.

처음부터 다시 시작한다면 다르게 할 점

저는 실제 벤치마크 (benchmarks)를 실행하기까지 너무 오래 기다렸습니다. 2023년에 모두가 이야기하던 것이 GPT-4o였기에, 그것이 기본값이라고 가정해 버렸습니다. 문제는 모델 성능이 매우 빠르게 움직인다는 점입니다. DeepSeek의 2026년 스택은 1년 전 모두가 논쟁하던 그 DeepSeek가 아닙니다. Global API는 현재 184개의 모델을 나열하고 있으며, 저렴한 모델들은 위험할 정도로 성능이 좋아졌습니다.

또한 첫날부터 사용량 알림 (usage alerts)을 설정했을 것입니다. 처음 1,000달러의 청구서를 받았을 때, 저는 그것이 올 줄 전혀 몰랐습니다. 지금은 Global API에 일일 지출 한도 (daily spend cap)를 설정해 두었고, 예산의 50%에 도달하면 Slack 알림이 오도록 설정했습니다. 클라이언트 업무를 수행하고 있다면, 확실한 상한선 (hard ceiling)을 두어야 합니다. 저를 믿으세요.

마무리하며

만약 당신이 2026년에 AI 관련 업무를 수행하는 프리랜서라면, 어떤 모델을 선택하느냐는 기술적인 결정이 아니라 비즈니스적인 결정입니다. 기술적인 작업은 대략적으로 동일합니다. 클라이언트는 결과물이 좋고 앱이 제대로 작동하기만 한다면, 당신이 DeepSeek V4 Pro를 호출하는지 아니면 GPT-4o를 호출하는지에는 관심이 없습니다. 그들이 실제로 신경 쓰는 것은 당신이 제시하는 견적이며, 그 가격은 당신의 추론 비용 (inference cost)에 따라 결정됩니다.

저에게 있어 Global API를 통한 DeepSeek 사용은 마진을 확보할 수 있는 열쇠 (margin unlock)였습니다. 저는 동일한 워크로드 (workloads)를 실행하고 동일한 클라이언트에게 비용을 청구하면서, 예전에는 OpenAI의 매출로 증발해 버렸을 매달 3,000달러의 추가 수익을 챙기고 있습니다. 설정에는 10분도 채 걸리지 않았고, Python 통합 (integration)은 단 세 줄의 설정만으로 가능하며, 평가 점수 (eval scores) 또한 견고하게 유지됩니다.

직접 테스트해보고 싶다면, Global API는 global-apis.com에서 확인할 수 있습니다 — 당신