제가 말씀드릴 것은 이겁니다. 500달러에서 12달러로: 주말 만에 OpenAI를 벗어난 방법

제가 프리랜서 일을 거의 그만둘 뻔했던 날의 이야기를 해드리겠습니다.

3월 화요일이었고, 저는 마치 저에게 돈을 갚아야 하는 것처럼 보이는 OpenAI 대시보드를 응시하고 있었습니다. 스포일러: 정말 그랬습니다. 그 달 청구액은 487달러였습니다. 단지 63센트 차이로요. 하나의 클라이언트 프로젝트 때문이었습니다. 저는 중견 전자상거래 매장을 위한 챗봇 통합 작업을 하고 있었는데, 토큰들이 고장 난 파이프를 통해 물처럼 흘러나갔습니다. 모든 API 호출은 제 수익 마진에 작은 출혈을 일으켰고, 제가 그 비용을 부담하고 있었습니다. 왜냐하면 — 솔직히 말해서 — GPT-4o 요금이 아직 관리 가능한 수준이었을 때 몇 달 전에 고정 가격 계약을 맺었기 때문입니다.

그날 밤 저는 6개월 전 했어야 할 일을 했습니다. 스프레드시트를 열고 계산하기 시작했습니다. 진짜 수학이요. '느낌'으로 하는 것이 아니라 청구 가능 시간(billable hours)으로 하는 계산 말입니다.

여기 불편한 진실이 있습니다: GPT-4o는 입력 토큰당 백만 개에 2.50달러, 출력 토큰당 백만 개에 10.00달러를 부과합니다. 제가 하는 종류의 작업 — 적당한 컨텍스트와 채팅 응답을 위한 많은 양의 출력을 필요로 할 때 — 이는 가혹합니다. 제 출력 토큰이 저를 무너뜨리고 있었습니다. 하루에 2백만 개의 출력 토큰을 사용하자, 저는 하루에 20달러를 지불하고 있었습니다. 단지 한 클라이언트에게요. 저는 네 명의 클라이언트를 가지고 있습니다.

저는 마진에서 출혈을 겪고 있었습니다. 게다가 더 나쁜 것은, 저만이 그것을 알고 있다는 것이었습니다.

모든 것을 바꾼 스프레드시트

모델 (Model)	제공자 (Provider)	입력 (Input) $/M	출력 (Output) $/M	GPT-4o 대비
GPT-4o	OpenAI	$2.50	$10.00	—
...

저는 DeepSeek V4 Flash 행을 꼬박 5분 동안 뚫어지게 쳐다보았습니다. 출력 토큰 100만 개당 0.25달러. 제가 지불하던 금액보다 40배나 저렴했습니다. 제가 수행하던 작업들에 대해 품질은 대등하면서 말이죠.

저와 함께 계산을 해봅시다. 저도 그날 밤에 17번이나 계산해 봤으니까요. 만약 제 월간 청구액 487달러 중 90%가 출력 토큰이었다면 (채팅 중심의 워크로드(workload)를 고려할 때 합리적인 추정치입니다), 출력 비용은 대략 438달러입니다. 100만 개당 0.25달러라면, 동일한 볼륨의 비용은 10.95달러가 됩니다. 여기에 입력 비용도 100만 개당 2.50달러 대신 0.18달러를 적용하면, 이전에 입력 토큰 비용으로 49달러가 들었던 출력 중심의 워크로드가 이제는 3.52달러가 되는 셈입니다.

총합: 487달러 대신 약 14.50달러 정도입니다.

저는 프리랜서 개발자입니다. 시간당 95달러를 받습니다. 487달러와 14.50달러의 차이는 보수적으로 잡아도, 제가 매달 OpenAI에 갖다 바치던 순수 마진 5시간 분량의 청구 가능 시간입니다. 5시간이라니요. Sam Altman의 GPU 비용을 보조해 주는 대신, 제가 고객에게 청구할 수 있었던 가치 높은 업무를 수행할 수 있는 오후 전체를 의미합니다.

마이그레이션 계획 (The Migration Plan)

1인 개발자로서 직면하는 문제는 이렇습니다. 그냥 단순히

from openai import OpenAI

client = OpenAI(api_key="sk-...")

그리고 변경 후의 모습은 다음과 같습니다:

from openai import OpenAI

client = OpenAI(
...

두 줄이 바뀌었습니다. 베이스 URL (Base URL)과 API 키 (API key)입니다. 그게 전부입니다. 나머지 코드들 — 스트리밍 로직 (streaming logic), 함수 호출 (function calling), JSON 모드 파싱 (JSON mode parsing) 등 모든 것이 — 그냥 그대로 작동했습니다. 단 하나의 함수도 리팩터링 (refactor)하지 않았습니다. 단 하나의 프롬프트 템플릿 (prompt template)도 다시 쓰지 않았습니다. 저는 그저 다른 엔드포인트 (endpoint)를 가리켰을 뿐입니다.

실제 채팅 완성 (chat completion) 호출의 경우, gpt-4o를 deepseek-v4-flash로 교체했습니다:

response = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[{"role": "user", "content": "Hello!"}],
...

동일한 응답 형식 (response format). 동일한 스트리밍 청크 (streaming chunks). 동일한 함수 호출 (function calling) 구문. OpenAI Python SDK는 중요한 측면에서 벤더 중립적 (vendor-agnostic)이며, Global API는 와이어 레벨 (wire level)에서 OpenAI와 호환됩니다. 제 코드의 관점에서는 아무것도 변하지 않았습니다. 하지만 제 청구서의 관점에서는 모든 것이 변했습니다.

숫자로 보는 주말

토요일 오전 7시: 마이그레이션 (migration) 시작.
토요일 오전 8시 30분: 트래픽의 10%를 사용하는 병렬 환경 가동.
토요일 오후 2시: 품질 샘플을 검토한 후 25%로 상향.
토요일 오후 6시: 50% 도달. 품질은 견고해 보임.
일요일 오전 9시: 새 엔드포인트로 100% 전환. 기존 엔드포인트는 백업용으로 유지.
일요일 오후 1시: 모니터링 결과 깨끗함. 기존 엔드포인트 종료. 클라이언트를 위한 사후 분석 (postmortem) 문서 작성.
일요일 오후 3시: 세금 신고 완료. (관련은 없지만, 타이밍이 적절하게 느껴졌습니다.)

총 마이그레이션 시간: 8시간. 그중 대부분은 의미 있는 품질 비교를 수행할 수 있도록 트래픽 샘플이 쌓이기를 기다리는 시간이었습니다. 실제 코드 변경은 아마 20분 정도 걸렸을 것입니다.

클라이언트와의 대화

이것은 이러한 마이그레이션 가이드에서 아무도 이야기하지 않는 부분입니다: 바로 클라이언트에게 알리는 것입니다.

그냥 조용히 처리할 수도 있었습니다. 클라이언트가 얻는 챗봇 기능, 응답 시간, 품질은 모두 동일하니까요. 왜 구현 세부 사항으로 그들을 번거롭게 하겠습니까? 하지만 저는 프리랜서입니다. 제 비즈니스는 신뢰를 바탕으로 운영됩니다. 그래서 저는 15분간의 통화를 예약하고 그 과정을 설명했습니다.

"이번 프로젝트의 API 비용을 약 97% 절감할 수 있는 백엔드 인프라 (backend infrastructure) 변경을 진행했습니다. 고객님 입장에서 느끼시는 모델 품질, 응답 시간, 모든 것은 동일합니다. 제가 이 말씀을 드리는 이유는 두 가지입니다. 첫째, 제가 스택 (stack)을 적극적으로 최적화하고 있다는 점을 알려드리고 싶어서이고, 둘째, 이 절감액을 통해 월간 인보이스 (invoice) 금액을 줄이거나 다음 스프린트 (sprint)에서 새로운 기능을 추가할 수 있는 여유를 확보했기 때문입니다. 결정은 고객님이 하시면 됩니다."

그들은 열광했습니다. 그들은 "새로운 기능 추가"를 선택했는데, 그것이 클라이언트들이 하는 방식이며, 덕분에 저는 다음 주에 기능 구현을 위한 12시간의 추가 작업 비용을 청구할 수 있었습니다. 비용 절감은 비밀이 아니라 비즈니스 개발 (business development) 도구가 되었습니다.

이것이 바로 "그냥 제공업체를 바꾸면 된다"라고 말하는 사람들이 놓치는 부분입니다. 프리랜서로서 모든 인프라 결정은 곧 클라이언트 관계에 대한 결정이기도 합니다. 비용 최적화 (cost optimization)는 단순히 저의 마진 (margin)에 관한 것이 아닙니다. 그것은 단순히 인보이스를 수금하는 사람이 아니라, 적극적으로 솔루션을 엔지니어링 (engineering)하는 사람으로서 저 자신을 포지셔닝하는 일입니다.

실제로 절감한 금액

3개월 차. 예측치가 아닌 실제 수치입니다:

1개월 차 (부분적 마이그레이션, 월 중반 전환): 예상치 $487 대신 $312 지출. 약 $175 절감.
2개월 차 (한 달 전체): 트래픽 성장을 기반으로 예상되었던 약 $510 대신 $14.20 지출. 약 $495 절감.
3개월 차 (한 달 전체, 트래픽 20% 증가): 약 $580 대신 $17.40 지출. 약 $562 절감.

90일 동안 총 절감액: 약 $1,232.

제 시간당 요율로 계산하면, 일을 찾아 헤매지 않아도 되는 13시간의 청구 가능 시간 (billable hours)이 생긴 것입니다. 그 13시간을 저는 제 개인 제품, 마케팅, 그리고 그동안 소홀히 했던 사이드 프로젝트 (side project)에 사용할 수 있었습니다. 이것이 제공업체를 전환했을 때 얻는 실제 ROI (return on investment)입니다. 단순히 달러로 절감된 금액뿐만 아니라, 시간의 절감, 정신적 여유, 그리고 벤더 인보이스 때문에 밤잠을 설치던 일이 사라졌다는 사실 말입니다.

미리 알았더라면 좋았을 것들

모든 과정이 순탄하기만 했던 것은 아닙니다. 몇 가지 예상치 못한 부분들이 있었습니다:

1. 스트리밍 응답 (Streaming responses)의 경우, 몇몇 예외적인 상황(edge cases)에서 청크(chunk) 형태가 약간 달랐습니다. 치명적인 문제는 아니었지만, 청크에서 토큰 수 (token counts)를 파싱하던 재시도 로직 (retry logic) 블록 하나를 수정해야 했습니다.

2. 비전 (Vision, 이미지 입력) 기능은 작동하지만, 모델 선택이 중요합니다. GPT-4V와 동등한 성능이 항상 1:1로 교체되는 것은 아닙니다. 저는 클라이언트의 제품 이미지 인식 유스케이스 (use case)를 위해 Qwen-VL을 구체적으로 테스트해야 했습니다.

3. 함수 호출 (Function calling)은 요청/응답 (request/response) 형식 측면에서는 동일하게 작동하지만, 모델이 가끔 제 도구 레지스트리 (tool registry)에 존재하지 않는 도구 이름을 환각 (hallucinate)할 때가 있습니다. 이를 에러 로그 (error logs)에 남기기 전에 잡아낼 수 있도록 검증 레이어 (validation layer)를 추가했습니다.

4. 파인튜닝 (Fine-tuning) 불가. 저에게는 결정적인 결함은 아니었지만, 특화된 작업을 위해 파인튜닝된 모델에 의존하고 있다면 해당 특정 유스케이스 (use cases)를 위해 OpenAI를 스택 (stack)에 남겨두어야 할 것입니다. 대부분의 채팅 중심 워크로드 (chat-heavy workloads)의 경우, 베이스 모델 (base models)만으로도 충분합니다.

5. 임베딩 (Embeddings)은 아직 출시 단계입니다. 저는 시맨틱 검색 (semantic search) 기능을 위해 text-embedding-3-small을 사용하고 있었기에, 당분간은 그 부분만 OpenAI를 계속 사용해야 했습니다. 비용을 크게 차지하는 부분은 아니지만, 알아둘 가치가 있습니다.

호환성 매트릭스 (The Compatibility Matrix)

개발자분들이 실제 기능별 상세 내용을 원하실 것이기에, 제가 확인한 작동 여부를 정리해 드립니다:

기능	OpenAI	Global API	비고
채팅 완성 (Chat Completions)	✅	✅	동일한 API
...
대부분의 프리랜서 개발자들이 수행하는 작업의 90%에 대해서는—