Slashing AI API Costs From Scratch: What Nobody Tells You

나는 청구서 대시보드를 열고 키보드에 커피를 뿜을 뻔했던 그 아침을 여전히 기억한다. 한 고객이 단 한 번의 주말 동안 1,100달러의 API 비용을 발생시켰다. 그리고 그 "주말"은 내가 생산적인 일을 하는 척하며 몇 가지 vibe-check 프롬프트를 실행하던 시간이었다. 나는 그 비용을 고객에게 청구하지 않았다. 그 누구에게도 청구하지 않았다. 그 거대한 돈뭉치는 그냥... 사라져 버렸다.

그날이 바로 내가 모든 API 호출을 청구 가능한 항목(billable line item)으로 취급하기 시작한 날이다. 왜냐하면 클라이언트 업무 사이사이에 사이드 허슬(side hustle)을 운영하는 1인 개발자에게는 모든 달러가 중요하기 때문이다. 모든 달러에는 ROI(투자 대비 수익)가 있다. 그리고 내가 LLM (대규모 언어 모델) 제공업체에 건네는 모든 달러는 월세, 회계사, 혹은 내가 눈여겨보고 있던 새로운 기계식 키보드에 쓸 수 없는 돈이다.

그 경각심을 느낀 후 몇 달 동안 내가 배운 것들을 공유한다. 이 중 대단한 것은 없다. 박사 학위가 필요한 것도 아니다. 그저 다른 사람들이 "GPT-4o에게 프롬프트를 입력해 소설을 쓰게 했다"며 트윗을 날리는 동안, 정밀하게(精打细算) — 즉, 푼돈 하나하나를 꼼꼼히 계산하는 지루한 작업일 뿐이다.

기본 모델이 당신의 수익을 갉아먹는 이유

내가 처음 LLM으로 개발을 시작했을 때, 나는 모든 튜토리얼이 시키는 대로 했다. 반짝이는 플래그십 모델을 선택하고, 내 코드에 집어넣은 뒤, 가격 페이지는 다시는 쳐다보지 않았다. 익숙한 이야기인가?

트위터의 그 누구도 당신에게 말해주고 싶어 하지 않는 사실이 있다. "편리한 모델"과 "적절한 모델" 사이의 가격 차이는 우스꽝스러울 정도다. 웃겨서 웃긴 게 아니라, 내 수익 마진이 어디로 사라졌는지 모를 정도로 우스꽝스럽다는 뜻이다.

프리랜서 스타일로 간단한 계산을 해보자. 당신이 고객을 위해 챗봇을 구축하고 있다고 가정하자. 고객이 프로젝트 비용으로 관대하게 4,000달러를 지불한다. 당신의 청구 가능 시간은 제한되어 있다. 당신의 이익도 제한되어 있다. 변동 비용 — 즉, API 청구서 — 은 당신의 마진을 직접적으로 갉아먹는다.

만약 당신이 GPT-4o를 통해 200만 개의 출력 토큰 (output tokens)을 $10.00/M 가격으로 보낸다면, 비용은 $20입니다. 반면 동일한 200만 토큰을 $0.25/M 가격의 DeepSeek V4 Flash로 보낸다면, 비용은 $0.50입니다. 동일한 응답, 동일한 클라이언트, 동일한 인보이스(invoice)입니다. 하지만 단일 항목에서 얻는 이익은 40배 차이가 납니다.

농담이 아닙니다. 이것이 바로 레버리지 (lever)입니다.

내 월세를 내주는 모델 선택기 (Model Picker)

나는 이제 모든 프로젝트의 최상단에 아주 작은 라우팅 테이블 (routing table)을 구축합니다. 이것은 내가 작성하는 코드 중 단연 가장 수익성이 높은 코드이며, 부끄러울 정도로 짧습니다. 내가 실제로 배포하는 버전은 다음과 같습니다:

import requests

API_BASE = "https://global-apis.com/v1"
...

내 모니터 위에 테이프로 붙여놓은 실제 절감액 표를 보여드리겠습니다 — 네, 말 그대로 테이프로 붙여놓았습니다. 저는 그런 종류의 너드 (nerd)니까요:

작업 (Task)	비싼 선택지	스마트한 선택지	절감액
단순 채팅 (Simple chat)	GPT-4o ($10/M)	DeepSeek V4 Flash ($0.25/M)	97.5%
...

그 분류 (classification) 행을 다시 읽어보세요. 98.3%입니다. 오타가 아닙니다. $0.01/M 가격의 Qwen3-8B는 감성 분류 (sentiment classification)를 GPT-4o-mini만큼이나 잘 처리하며, 나는 그 특권을 누리는 데 60배나 적은 비용을 지불하고 있습니다. 한 달에 500만 건의 분류 호출 (classification calls) 워크로드 (workload)를 기준으로 하면, 이는 $3,000와 $50의 차이입니다. 이는 클라이언트를 유지하느냐, 아니면 환불해주느냐의 차이입니다.

나의 "먼저 저렴하게, 나중에 질문하기" 스택 (Stack)

여기서부터 재미있어집니다. 포커 플레이어가 칩을 쌓듯이 모델을 쌓을 수 있습니다. 먼저 저렴한 모델을 시도하세요. 정말로 필요할 때만 상위 모델로 에스컬레이션 (escalate) 하십시오.

나는 요가 스튜디오 클라이언트를 위해 여전히 유지보수하고 있는 고객 지원 챗봇 (customer support chatbot)을 위해 이 헬퍼 (helper)를 만들었습니다. 그들은 나에게 월 $250의 리테이너 (retainer)를 지급합니다. 이전 개발자는 모든 것을 GPT-4o를 통해 실행하고 있었습니다. 그들의 청구서는 월 $420였습니다. 그들은 말 그대로 모든 고객 지원 상호작용에서 손해를 보고 있었습니다. 내가 개입했고, 내가 배포한 함수는 다음과 같습니다:

import requests

API_BASE = "https://global-apis.com/v1"
...

이것을 적용한 후, 고객의 청구 금액은 월 420달러에서 월 28달러로 급감했습니다. 제품은 동일합니다. 가동 시간(Uptime)도 동일합니다. 서비스 수준 협약(SLA)도 동일합니다. 요가 스튜디오 주인은 제가 마법사라고 생각합니다. 하지만 저는 마법사가 아닙니다. 저는 단지 그들의 쿼리 중 85%를 100만 토큰당 10분의 1센트 비용이 드는 모델로 라우팅(Routing)하고 있을 뿐입니다.

제가 방금 아껴준 월 392달러? 그것이 바로 그들이 저를 계속 리테이너(Retainer, 고문 계약)로 유지하는 이유입니다. 이것이 사이드 허슬(Side hustle)이 진짜 비즈니스가 되는 방식입니다.

캐싱 (Caching): 테이블 위에 놓인 공짜 돈

작년에 제 코드를 감사했을 때, 저는 당황스러운 사실을 발견했습니다. 저는 OpenAI에 정확히 똑같은 프롬프트(Prompt)를 반복해서 보내고 있었습니다. "영업시간이 어떻게 되나요?"와 같은 고객 지원 문의는 고객마다 변하지 않습니다. 방문자가 질문할 때마다, 저는 동일한 답변에 대해 비용을 지불하고 있었습니다.

캐싱 (Caching)은 단 한나절 만에 이 문제를 해결했습니다. 제가 사용하는 패턴은 다음과 같습니다:

import hashlib, json, time

_cache = {}
...

문서 Q&A 봇의 경우, 캐시 히트율(Cache hit rate)이 50-80%에 달하는 것을 확인했습니다. 이는 제 API 청구액의 50-80%가 그냥 사라진다는 뜻입니다. 공짜 돈입니다. 점심 식사 비용을 충당하고도 남을 만큼의 돈이죠.

조금 더 고도화하고 싶다면 시맨틱 캐싱 (Semantic caching)을 살펴보세요. 정확한 프롬프트를 해싱(Hashing)하는 대신, 벡터 임베딩 (Vector embedding)을 해싱하여 "충분히 유사한" 쿼리에 대해 캐시된 응답을 제공하는 방식입니다. 저는 지난 분기에 FAISS를 사용하여 이를 구축했고, 고객의 청구액을 추가로 15% 더 절감했습니다.

내가 API에 소설을 보내는 것을 그만둔 이유

이 부분은 뼈아픈데, 방법을 알아내기 전까지 너무 많은 돈을 낭비했기 때문입니다. 프롬프트 압축 (Prompt compression). 기본 개념은 이렇습니다: 만약 매 요청마다 2,000 토큰의 시스템 프롬프트 (System prompt)를 보낸다면, 당신은 매 요청마다 그 토큰들에 대한 비용을 지불하고 있는 것입니다.

긴 컨텍스트 (Long context)에 대해 제가 실행하는 루틴은 다음과 같습니다:

def shrink_prompt(long_text, target_chars):
    summary = call_model(
        "Qwen/Qwen3-8B",
...

프리랜서의 관점에서 계산해 봅시다. 여기서부터 진짜가 시작되니까요. 요청당 0.024달러를 절약한다고 가정해 봅시다. 아주 작게 들릴 것입니다. 이제 이를 하루 10,000건의 요청으로 곱해 보세요. 하루에 240달러입니다. 이는 연간 87,600달러입니다. 단 하나의 루틴으로부터, 프롬프트를 더 짧게 만듦으로써 얻은 결과입니다.

지난 봄에 한 고객으로부터 50페이지 분량의 PDF를 요약해 달라는 계약을 맡은 적이 있습니다. 저는 그 전체 내용을 시스템 프롬프트 (System Prompt)에 그대로 붙여넣고 있었습니다. 그러다 일회성 요약기를 구축하여, PDF에 대해 Qwen3-8B를 한 번 실행해 요약본을 저장한 뒤, 실제 답변을 생성할 때만 그 요약본을 DeepSeek V4 Flash로 보내도록 만들었습니다. 그들의 월간 청구액은 1,800달러에서 310달러로 급감했습니다. 그들은 저에게 보너스까지 보내주었습니다. 정말 눈물이 날 뻔했습니다.

배치 처리 (Batching): 50번의 왕복 비용을 지불하지 마세요

마지막 기술이자, 데이터 처리 작업 중에 제 정신 건강을 지켜준 기술입니다. 한 고객이 더 친근한 어조로 다시 작성해야 하는 50,000개의 짧은 제품 설명을 가지고 있었습니다. 저는 API를 50,000번 호출하는 루프 (Loop)를 작성할 뻔했습니다.

그러다 스스로를 멈춰 세웠습니다. 그것은 50,000번의 네트워크 왕복 (Network Round Trips)입니다. 그것은 50,000개의 개별 입력 토큰 (Input Token) 비용입니다. 그런 식의 아키텍처 (Architecture)는 당신을 빈털터리로 깨어나게 만듭니다.

대신, 저는 배치 처리 (Batching)를 했습니다:

descriptions = [...]  # 50,000개

# for desc in descriptions:
...

여기서 절감 효과는 교묘합니다. 토큰당 비용을 적게 내는 것이 아닙니다. 시스템 프롬프트 (System Prompt) 비용을 50번 내는 대신 한 번만 내는 것입니다. 200토큰의 시스템 프롬프트를 사용하는 50개의 요청의 경우, 배치당 입력 토큰이 10,000개에서 200개로 줄어듭니다. 출력은 동일합니다. 입력 비용의 2% 수준입니다.

그 50,000개의 설명 프로젝트에서 배치 처리는 약 180달러를 아껴주었습니다. 이는 제가 손해 보지 않아도 되었던 2시간의 청구 가능 시간 (Billable Hours)입니다. 근사한 저녁 식사를 할 수 있는 금액이죠. 수익이 나는 달과 스트레스가 가득한 달의 차이입니다.

저의 실제 월간 계산법

이 모든 것이 합쳐졌을 때 어떤 모습인지 보여드리겠습니다. 왜냐하면 아무도 이 전체 합계 (Roll-up)를 보여주지 않기 때문입니다.

저의 중견 고객사 중 하나인 — 제가 계속 예로 드는 요가 스튜디오라고 부릅시다 — 고객사는 지원 챗봇 (Support Chatbot)을 통해 한 달에 약 800만 개의 입력 토큰 (Input Tokens)과 400만 개의 출력 토큰 (Output Tokens)을 사용합니다.

최적화 전:

• 모두 GPT-4o 사용. 입력 100만 토큰당 $2.50, 출력 100만 토큰당 $10.00.
• 8M × $2.50 = $20 (입력)
• 4M × $10.00 = $40 (출력)
• 총합: 단 하나의 워크로드 (Workload)에 약 $60.

저의 라우팅 스택 (Routing Stack) 적용 후:

• Qwen3-8B를 통한 85% 처리 (출력 1M당 $0.01): 3.4M × $0.01 = $0.034
• DeepSeek V4 Flash를 통한 13% 처리 (출력 1M당 $0.25): 0.52M × $0.25 = $0.13
• DeepSeek Reasoner를 통한 2% 처리 (출력 1M당 $2.50): 0.08M × $2.50 = $0.20
• 여기에 60%의 캐시 히트율 (Cache hit rate)을 더하면, 해당 호출에 대한 비용은 사실상 제로(zero)입니다.

한 달에 1달러도 안 되는 금액입니다. 60달러에서 말이죠. 이것은 최적화 (Optimization)가 아니라 연금술 (Alchemy)입니다.

과거의 나에게 해주고 싶은 말

주말 동안 1,100달러를 날렸던 과거의 나에게 돌아가서 말할 수 있다면, 네 가지를 말해주고 싶습니다:

1. 플래그십 (Flagship) 모델만 찾지 마세요. 플래그십은 마케팅 도구입니다. 매일 사용하는 작업용 말 (Workhorse)이 아닙니다.
2. 첫날부터 라우팅 레이어 (Routing layer)를 구축하세요. MODEL_MENU 딕셔너리 (dict)를 작성하는 데 걸리는 15분이 수천 달러를 아껴줄 것입니다.
3. 공격적으로 캐싱 (Cache)하세요. 답변이 바뀌지 않는데, 왜 두 번이나 비용을 지불하나요?
4. 계산을 하세요. 매번. 반드시. 토큰 (Token) 비용은 한 달 치를 쌓아보기 전까지는 추상적으로 느껴집니다. 하지만 쌓이고 나면 월세처럼 느껴질 것입니다.

교훈은, 제 생각에는,