몇 달 전 코딩 부트캠프를 막 졸업했고, 쉬지 않고 작은 프로젝트들을 만들어 오고 있습니다. 그중 하나는 사람들이 숙제를 하는 데 도움을 주는 챗봇입니다 (왜 그런지 묻지는 마세요, 친구가 부탁해서 알겠다고 했습니다). 어쨌든, 첫 API 청구서를 받았을 때 저는 오타가 난 줄 알고 실제로 크게 웃었습니다. 오타가 아니었습니다.

그 순간 저는 깊은 탐구의 길로 빠져들었습니다. AI API 비용에 대해 읽을 수 있는 모든 것을 읽기 시작했고, 제가 얼마나 많은 돈을 낭비하고 있었는지 깨닫고 충격을 받았습니다. 진심으로 창피할 정도였습니다. 그래서 저처럼 실수로 지갑에 불을 지르고 있는 다른 분들을 위해 이 글을 써보기로 했습니다.

제가 배운 것들, 그리고 시작하기 전에 누군가 저에게 말해줬더라면 좋았을 것들을 공유합니다.

내가 바보였다는 것을 깨달은 순간

처음 시작했을 때는 그냥 튜토리얼에서 추천하는 모델을 그대로 사용했습니다. 어떤 것인지 아실 겁니다. GPT-4o였고, 아주 잘 작동했기에 저는 두 번 생각하지 않았습니다. 그러다 어디선가 스프레드시트에 출력 비용이 1M(백만) 토큰당 $10라고 적힌 숫자를 보게 되었는데, 그것이 무엇을 의미하는지 전혀 몰랐습니다.

실제로 계산을 해보고 나서 저는 입을 다물지 못했습니다. 모델에서 나오는 백만 토큰마다 10달러를 지불하고 있었던 것입니다. 마케팅 예산이 0달러인 꿈 많은 갓 졸업한 부트캠프 졸업생에게 그것은 결코 적은 돈이 아니었습니다.

놀라운 점은 해결 방법이 복잡하지 않다는 것입니다. 머신러닝 (Machine Learning) 박사 학위 같은 것이 필요한 것도 아닙니다. 단지 어떤 모델을 언제 호출할지에 대해 조금 더 의도적으로 생각하면 됩니다.

제가 알아낸 모든 것을 안내해 드리겠습니다.

모든 것을 바꿔놓은 모델 교체

이것이 핵심이며, 솔직히 처음 숫자를 나란히 놓고 비교했을 때 정말 놀라웠습니다.

아이디어는 간단합니다. 모든 작업에 가장 화려하고 비싼 모델이 필요하지는 않다는 것입니다. 제가 수행하던 많은 작업은 아무도 차이를 느끼지 못할 정도로 더 작고 저렴한 모델로 처리할 수 있었습니다. 여러분의 챗봇이 "프랑스의 수도는 어디인가요?"라는 질문에 답하기 위해 초지능형 모델을 사용하는지 여부는 아무도 신경 쓰지 않습니다. 그런 질문에는 모델이 깊게 고민할 필요가 없습니다.

제가 직접 만든 비교표를 보여드리겠습니다 (네, 제 너드 같은 숙제를 여러분과 공유하는 중입니다):

• 단순한 채팅의 경우, GPT-4o는 10달러/M tokens입니다. DeepSeek V4 Flash는 0.25달러/M tokens입니다. 이는 97.5% 더 저렴합니다. 97.5%입니다.
• 데이터를 카테고리로 분류하기? GPT-4o-mini는 0.60달러/M tokens입니다. Qwen3-8B는 0.01달러/M tokens입니다. 98.3%를 절약합니다.
• 코드 작성하기? GPT-4o가 10달러/M tokens인 것에 비해 DeepSeek Coder는 0.25달러/M tokens입니다. 또 다른 97.5%의 절감입니다.
• 긴 문서 요약하기? GPT-4o가 10달러/M tokens인 것에 비해 Qwen3-32B는 0.28달러/M tokens입니다. 약 97.2% 할인됩니다.
• 텍스트 번역하기? GPT-4o가 10달러/M tokens인 것에 비해 Qwen-MT-Turbo는 0.30달러/M tokens입니다. 97%의 절감입니다.

처음 이 수치들을 봤을 때 정말 믿기지 않았습니다. 그러니까, 0.25달러면 되는데 왜 굳이 10달러를 내고 있는 걸까요?

제 코드에서는 다음과 같이 설정했습니다. 작업 유형(task types)을 모델에 매핑하는 작은 딕셔너리(dictionary)를 유지하며, 제가 하려는 작업에 따라 적절한 모델을 선택합니다:

import requests

MODEL_MAP = {
...

작업에 따라 모델을 교체하는 것만으로도 즉시 대부분의 비용을 절감할 수 있었습니다. 거의 대부분 말이죠. 어떤 모델을 호출할지에 대해 더 똑똑하게 결정하는 것만으로도, 이전 비용의 아마 5% 정도만 지불하고 있었습니다.

계층적 접근 방식 (매니저에게 상신하는 것처럼)

좋습니다, 모델 교체는 엄청난 효과가 있었지만, 저는 상황을 훨씬 더 진전시킬 수 있는 또 다른 트릭을 발견했습니다. 그것은 계층적 라우팅 (Tiered Routing)이라고 불리며, 그 개념은 이렇습니다. 가장 저렴한 옵션을 먼저 시도하고, 저렴한 옵션이 충분하지 않을 때만 더 화려한 모델로 "상신 (escalate)"하는 것입니다.

이렇게 생각하면 쉽습니다. 커피숍에 들어가서 간단한 질문을 한다고 상상해 보세요. 매니저와 대화해야 할까요, 아니면 바리스타가 처리할 수 있을까요? 아마 바리스타겠죠. 여기서도 같은 원리입니다.

저는 먼저 저렴한 모델을 시도하고, 답변이 충분히 괜찮은지 확인한 뒤, 꼭 필요한 경우에만 더 비싼 모델로 넘어가는 작은 함수를 만들었습니다:

import requests

API_URL = "https://global-apis.com/v1/chat/completions"
...

이것을 제 고객 지원 챗봇 (customer support chatbot)에 적용했을 때, 결과는 놀라웠습니다. 한 달에 420달러를 쓰던 비용이 28달러로 줄어들었습니다. 저렴한 모델이 질문의 85%를 문제없이 처리했고, 까다로운 질문들만 상위 모델로 넘어갔습니다.

이런 것이 가능하다는 사실을 전혀 몰랐습니다. 저는 "좋은 AI"란 곧 "비싼 AI"를 의미한다고 생각했습니다. 하지만 알고 보니 그것은 사실이 아니었습니다.

캐싱 (Caching): 왜 똑같은 질문을 두 번이나 하시나요?

다음 방법은 저를 바보처럼 느끼게 만들었지만, 좋은 의미였습니다. 만약 누군가 당신의 챗봇에게 "영업시간이 어떻게 되나요?"라고 묻는다면, 매번 답변을 위해 API 비용을 지불해야 할까요? 당연히 아닙니다. 답변을 기억해 두었다가 재사용하면 됩니다.

저는 기본적인 Python 딕셔너리 (dictionary)를 사용하여 작은 캐시 (cache)를 만들었습니다. 아이디어는 요청을 해싱 (hash)하고 (모델 + 메시지), 최근에 정확히 동일한 조합을 본 적이 있다면 이미 얻은 답변을 그대로 반환하는 것입니다:

import hashlib
import json
import time
...

제 숙제 도우미 서비스의 경우, 일반적인 질문에 대한 캐시 적중률 (cache hit rate)은 50%에서 80% 사이였습니다. 이는 제가 더 이상 비용을 전혀 지불하지 않아도 되는 엄청난 양의 요청을 의미합니다. FAQ 내용, 문서 조회 등 이 모든 것들이 단순히 메모리 (memory)에서 제공됩니다.

이것은 공짜 돈이나 다름없습니다. 캐싱을 하고 있지 않다면, 당장 시작하세요.

프롬프트 압축 (Compressing Prompts): 호출당 비용을 줄이는 방법

좋습니다, 이 방법은 약간 교묘합니다. 토큰 (tokens)은 API가 당신이 보내는 것과 받는 것을 측정하는 단위입니다. 토큰이 많을수록 더 많은 비용이 발생합니다. 따라서 실제 질문이 작더라도 프롬프트 (prompt)가 거대하다면 더 많은 비용을 지불하게 됩니다.

제가 진행하던 프로젝트 중 하나에는 약 2,000 토큰 (tokens) 정도 되는 시스템 프롬프트 (system prompt)가 있었습니다. 정말 엄청난 양이죠! 대부분 배경 정보와 지침들로 구성되어 있었습니다. 저는 실제 요청을 보내기 전에, 이 거대한 프롬프트를 더 작은 크기로 요약하기 위해 비용이 거의 들지 않는 저렴한 Qwen3-8B 모델을 사용하는 함수를 작성했습니다:

def compress_prompt(text, target_ratio=0.5):
    """저렴한 모델을 사용하여 긴 프롬프트를 압축합니다"""
    if len(text) < 500:
...

결과적으로 제 경우, 2,000 토큰의 시스템 프롬프트가 약 400 토큰으로 압축되었습니다. 이를 통해 DeepSeek V4 Flash 사용 시 요청당 0.024달러를 절약할 수 있었습니다. 작은 금액처럼 들리시나요? 하지만 제 봇은 하루에 약 10,000번 호출되었습니다. 이는 하루에 240달러입니다. 1년이면요? 87,600달러입니다.

다시 한번 말씀드리겠습니다. 1년에 87,000달러입니다. 단 하나의 프롬프트를 압축했을 뿐인데 말이죠.

저는 정말 충격받았습니다.

식료품 쇼핑처럼 요청 배치 처리하기 (Batching)

마지막으로 이야기하고 싶은 것은 배치 처리 (batching)입니다. 10번의 개별적인 API 호출을 하는 대신, 10개의 질문을 모두 집어넣어 한 번의 큰 호출을 만드는 것입니다. 전체 작업량은 동일하지만, 오버헤드 (overhead)를 줄일 수 있고 지불해야 하는 입력 토큰 (input tokens)을 공유할 수 있습니다.

이전에는 제 코드가 이랬습니다 (비웃지 마세요, 실제로 이렇게 했습니다):

questions = ["What is Python?", "What is JavaScript?", "What is Ruby?"]

# 나쁜 예: 3번의 개별 API 호출, 매번 컨텍스트 (context) 설정 비용 지불
...

개선 후:

questions = ["What is Python?", "What is JavaScript?", "What is Ruby?"]

# 좋은 예: 1번의 API 호출, 모든 질문에 대해 컨텍스트 공유
...

이 방식은 기존에 지출하던 비용에서 보통 10~20%의 절감 효과를 가져옵니다. 아주 쉬운 승리입니다.

종합하기

이 모든 방법들을 결합하면, 저의 경우 계산 결과는 다음과 같습니다:

• 작업에 적합한 모델 선택: 약 90% 절감
• 저렴한 모델을 우선 라우팅하고, 필요할 때만 비싼 모델 사용: 절감률을 95%까지 끌어올림
• 명확한 정보 캐싱 (Cache): 추가로 20~50% 절감
• 큰 프롬프트 압축: 요청당 추가로 15~30% 절감
• 가능한 경우 배치 처리 (Batching): 추가로 10~20% 절감

이 모든 방법을 결합하여, 저는 매달 수백 달러를 지출하던 것에서 사실상 거의 지출하지 않는 수준으로 줄였습니다. 저의 숙제용 챗봇 (homework chatbot)은 "이러다 파산하겠어"라는 상태에서 "이걸로 실제로 돈을 좀 벌 수도 있겠는데"라는 상태로 바뀌었습니다. 그리고 가장 좋은 점은 답변의 품질이 여전히 똑같이 훌륭하다는 것입니다. 제 사용자들은 제가 더 저렴한 모델 (cheaper models)을 사용하고 있다는 사실을 전혀 모르며, 솔직히 저조차도 모를 정도입니다.