이 인디 AI 스택을 더 빨리 알았더라면 좋았을 텐데 — 상세 분석

지난 두 번의 스타트업을 부트스트래핑(bootstrapped)할 때, 저는 AI 추론(inference) 비용을 마치 공짜인 것처럼 낭비했습니다. 월간 활성 사용자 수(MAU)가 처음으로 10만 명에 도달했을 때, 우리의 LLM(대규모 언어 모델) 청구 비용은 매출의 18%를 차지하고 있었습니다. 그것은 마진(margin)의 문제가 아니라, 생존의 문제였습니다. 그래서 현재 프로젝트를 위해 모든 것을 처음부터 다시 구축했습니다. 이것은 누군가 제가 첫날에 저에게 건네주었더라면 좋았을 플레이북(playbook)입니다.

제가 오늘날 무엇을 운영하고 있는지, 왜 아키텍처(architecture)가 지금과 같은 모습인지, 그리고 어떻게 대규모의 프로덕션급 워크로드(workload)를 처리하면서 월간 AI 지출을 4자리 숫자(low four figures) 수준으로 유지하고 있는지 설명해 드리겠습니다.

내가 AI를 마법 같은 블랙박스(Black Box)로 취급하는 것을 멈춘 이유

벤더 종속(Vendor lock-in)은 인디 AI 제품의 조용한 살인자입니다. 당신의 프롬프트(prompts), 임베딩 파이프라인(embeddings pipeline), 파인튜닝(fine-tuning) 데이터, 그리고 전체 평가 하네스(evaluation harness)가 단일 제공업체의 SDK에 결합되는 순간, 전환 비용(switching costs)은 잔혹해집니다. 그것이 CTO로서 저의 첫 번째 규칙인 이유입니다: 모델은 범용 제품(commodity)이며, 라우팅 레이어(routing layer)가 해자(moat)다.

저는 각 벤더별 통합 코드 없이도 사용할 가치가 있는 모든 모델에 접근할 수 있는 단일 통합 인터페이스가 필요했습니다. 몇 가지 옵션을 테스트한 후, 저는 하나의 OpenAI 호환 엔드포인트(endpoint)를 통해 184개의 모델을 노출하는 Global API로 결정했습니다. ROI(투자 대비 수익)는 첫 주 만에 명확하게 나타났습니다.

나를 전환하게 만든 숫자들

현재 제가 작업하고 있는 가격 환경은 다음과 같습니다. 제가 실제로 교대로 사용하고 있는 5가지 모델과 백만 토큰당 정확한 요율을 나열합니다:

DeepSeek V4 Flash — 입력 $0.27 / 출력 $1.10 / 128K 컨텍스트(context)
DeepSeek V4 Pro — 입력 $0.55 / 출력 $2.20 / 200K 컨텍스트(context)
Qwen3-32B — 입력 $0.30 / 출력 $1.20 / 32K 컨텍스트(context)
GLM-4 Plus — 입력 $0.20 / 출력 $0.80 / 128K 컨텍스트(context)
GPT-4o — 입력 $2.50 / 출력 $10.00 / 128K 컨텍스트(context)

전체 카탈로그의 가격 범위는 역량 계층(capability tier)에 따라 100만 토큰당 0.01달러에서 최대 3.50달러까지 걸쳐 있습니다. 이는 350배의 차이입니다. 만약 이 격차를 활용하지 못하고 있다면, 당신은 ROI(투자 대비 수익)를 놓치고 있는 것입니다.

모든 것을 주요 제공업체(major provider)에 직접 요청하는 것과 비교했을 때, 동일한 워크로드(workload) 기준 저의 혼합 비용(blended cost)은 40~65% 낮아졌습니다. 품질은 대등합니다. 제가 중요하게 생각하는 모델들을 대상으로 Global API의 카탈로그는 평균 84.6%의 벤치마크 점수를 기록했습니다. 저의 평균 지연 시간(latency)은 약 1.2초이며, 스트리밍 응답(streaming responses) 시 처리량(throughput)은 초당 320 토큰에 달합니다.

이 수치들은 마케팅 문구가 아닙니다. 저의 Grafana 대시보드에서 직접 나온 결과입니다.

아키텍처(Architecture): 하나의 SDK, 다양한 두뇌

이 설정의 핵심은 빠른 반복(iteration)입니다. 저는 현재 기본 모델과 새로운 모델을 30분 이내에 A/B 테스트하고 싶습니다. 애플리케이션 계층(application layer)을 다시 작성하지 않고도 저렴한 요청은 저렴한 모델로, 비싼 요청은 비싼 모델로 라우팅(route)하고 싶습니다. 또한 벤더 종속성(vendor lock-in)이 전혀 없기를 바라며, 따라서 184개의 모델 중 어떤 것이든 단 한 줄의 설정 변경만으로 교체할 수 있어야 합니다.

다음은 제가 모든 프로젝트에서 사용하는 기본적인 클라이언트 설정입니다. 이것을 넣기만 하면 끝납니다:

import openai
import os

...

저 베이스 URL(base URL) — https://global-apis.com/v1 — 이 핵심입니다. 나머지는 그저 표준 OpenAI SDK일 뿐입니다. LLM을 통합해 본 적이 있다면, 이미 이 코드의 형태를 알고 있을 것입니다. 그것은 우연이 아닙니다. 호환성(compatibility)이야말로 종속성을 없애는 열쇠입니다.

라우터(Router): 실제로 돈을 아끼는 곳

통합된 클라이언트는 괜찮지만, 정적인 모델 선택은 ROI를 놓치게 만듭니다. 저는 들어오는 각 요청을 분류하고 이를 잘 처리할 수 있는 가장 저렴한 모델을 선택하는 아주 작은 라우팅 계층(routing layer)을 구축했습니다. 제 서비스의 최상단에는 다음과 같은 코드가 있습니다:

def route_and_complete(prompt: str, complexity_hint: str) -> str:
    if complexity_hint == "simple":
        model = "thudm/glm-4-plus"  # $0.20 / $0.80
...

complexity_hint 플래그는 요청당 한 번 실행되는 작은 분류기 (classifier)에서 생성됩니다. 제 워크로드(workload)에서는 호출의 약 60%가 저렴한 계층 (cheap tier)으로, 30%는 표준 계층 (standard tier)으로, 그리고 10%는 헤비 계층 (heavy tier)으로 분류됩니다. 이러한 혼합 구성 덕분에 모든 요청을 $2.50 / $10.00 가격의 GPT-4o로 실행할 때보다 65%의 비용을 절감할 수 있었습니다.

저는 GPT-4o를 순수하게 저렴한 모델들이 눈에 띄게 어려움을 겪는 드문 경우를 위한 폴백 (fallback) 용도로만 유지합니다. 이는 저의 기본 설정이 아니라 안전망입니다. 현재 트래픽 기준으로 GPT-4o는 월간 지출의 3% 미만을 차지합니다.

고통스럽게 배운 교훈들

대시보드가 비명을 지르는 것을 지켜보며 배워야 했던 몇 가지 사항들이 있습니다. 이는 제가 모든 인디 창업자에게 추천하고 싶은 프로덕션 준비 완료 (production-ready) 습관들입니다:

공격적으로 캐싱(Cache)하세요. 저는 프롬프트(prompt)와 모델의 해시(hash)를 키(key)로 사용하는 Redis 레이어를 LLM 호출 앞에 추가했습니다. 사용자 대상 트래픽에서 히트율 (hit rate)은 약 40%를 유지합니다. 이는 제 추론 (inference) 비용의 40%가 그냥 사라진다는 뜻입니다. 설정에는 오후 한나절이 걸렸지만, 투자 대비 효과 (ROI)는 즉각적이었습니다.

모든 것을 스트리밍(Stream)하세요. 기술적으로 스트리밍이 필요하지 않은 경우에도 저는 스트리밍을 사용합니다. 체감 지연 시간 (perceived latency)이 줄어들고, 사용자 만족도 점수가 올라갔으며, 비용 관점에서도 사용자가 빈 페이지를 바라보며 보내는 시간에 대해 비용을 지불하지 않아도 됩니다. Flash 계층의 토큰 처리량 (token throughput)은 초당 320개로, 매우 빠릿하게 느껴집니다.

저렴한 작업에는 저렴한 모델을 사용하세요. 모든 요청에 프런티어 모델 (frontier model)이 필요하지는 않습니다. 분류 (classification), 추출 (extraction), 간단한 질의응답 (Q&A) 등은 모두 백만 토큰당 $0.20 / $0.80인 GLM-4 Plus에서 실행됩니다. 이는 당연한 선택지(GPT-4o 등)와 비교했을 때 80%의 비용 절감 효과가 있습니다. 제 평가 세트 (eval suite)에서 이러한 작업들의 품질은 GPT-4o와 구별할 수 없을 정도입니다.

비용뿐만 아니라 품질을 모니터링하세요. 모델 등급을 낮추고 몇 주 동안 품질 저하를 알아차리지 못함으로써 쉽게 돈을 아낄 수 있습니다. 저는 사용자 만족도 점수, 좋아요 (thumbs-up) 비율, 그리고 제가 운영 중인 5개 프로덕션 모델 모두에 대해 매일 실행하는 일일 평가 세트 (daily eval set)를 추적합니다. 모델의 성능이 퇴보한다면, 사용자가 알아차리기 전에 제가 먼저 알고 싶습니다.

실제적인 폴백 경로 (fallback path)를 구축하세요. 속도 제한 (Rate limits)은 실제로 존재합니다. 제공업체의 서비스 중단 (Provider outages)도 실제로 일어납니다. 저는 모든 호출을 지수 백오프 (retry-with-backoff) 방식으로 감싸서, 실패 시 다음으로 저렴한 모델로 넘어가도록 처리합니다. 프로덕션 환경에 적합하다는 것은 500 에러가 아니라 우아한 성능 저하 (graceful degradation)를 의미합니다.

제가 더 이상 종속성 (Lock-In)을 걱정하지 않는 이유

방금 설명한 아키텍처의 핵심은 이렇습니다. 제 애플리케이션 코드는 실제로 어떤 회사가 추론 (inference)을 수행하고 있는지 알지 못합니다. deepseek-ai/DeepSeek-V4-Flash가 버지니아의 H100에서 실행되고 있는지, 아니면 싱가포르의 어떤 독특한 커스텀 실리콘에서 실행되고 있는지 알 필요가 없습니다. 다음 분기에 가격이 변하더라도 상관없습니다. 그저 모델 식별자 (model identifier), 입력 속도 (input rate), 그리고 출력 속도 (output rate)만 알면 됩니다.

만약 다음 달에 현재 제가 가진 그 어떤 것보다 30% 더 뛰어난 새로운 모델이 출시된다면, 저는 단 한 번의 PR (Pull Request)만으로 트래픽을 그 모델로 라우팅할 수 있습니다. 현재 제공업체가 가격을 올린다면, 저는 오후 한나절 만에 경쟁사로 전환할 수 있습니다. 그것이 핵심입니다. 모델 계층은 범용화 (commoditized)되었으며, 제 스택은 이를 활용하도록 구축되었습니다.

소규모 팀에게 이것은 유일하게 합리적인 운영 방식입니다. 다섯 가지 서로 다른 SDK 통합을 직접 구현하고, 제공업체가 갑자기 서비스를 중단하지 않기를 기도하던 시대는 끝났습니다.

설정하는 데 커피 한 잔 마실 시간도 걸리지 않았습니다

솔직히 말씀드리겠습니다. 제가 처음 이것을 연결했을 때, 글로벌 API 문서를 읽고 API 키를 가져오는 시간을 포함해서 약 15분 정도 걸렸습니다. 만약 여러분이 이미 OpenAI Python SDK에 익숙하다면, 10분도 채 걸리지 않을 것입니다. 저는 단 하나의 환경 변수 (GLOBAL_API_KEY), 단 하나의 베이스 URL (https://global-apis.com/v1), 그리고 단 하나의 클라이언트 객체만을 가지고 있습니다. 그것이 인프라의 전부입니다.

대안과 비교해 보십시오. 네 개의 서로 다른 제공업체를 위해 네 개의 별도 계정, 네 개의 서로 다른 SDK, 네 개의 서로 다른 결제 관계, 네 개의 서로 다른 속도 제한 (rate-limit) 문제, 그리고 그중 하나라도 실적이 나쁠 경우를 대비한 마이그레이션 계획이 필요합니다. 규모가 커지면 이러한 복잡성은 기하급수적으로 늘어납니다. 소규모 규모에서는 그저 여러분의 개발 속도 (velocity)를 갉아먹을 뿐입니다.

대신 직접 연결하는 방식을 추천하는 경우

공정하게 말하자면 — 이 설정을 원하지 않을 수도 있는 시나리오들이 있습니다. 특정 제공업체(provider)의 호스팅 서비스(hosted offering)에 대한 미세 조정 (fine-tuning)이 필요하다면, 직접 연결해야 합니다. 규정 준수 (compliance)를 위해 특정 지역에 제한된 배포 (region-locked deployment)가 필수적인 요구 사항이라면, 단일 벤더 (single-vendor) 관계가 필요할 수 있습니다. 만약 매달 수백만 달러 규모의 추론 (inference)을 처리하고 있으며 엔터프라이즈 가격 (enterprise pricing) 협상이 가능하다면, 계산법은 달라집니다.

하지만 실제 사용자(real users)와 실제 예산(real budget)을 가진 실제 제품(real product)에 AI 기능을 출시하는 95%의 인디 개발자들에게는? 통합 API (unified API) 방식이 명백한 선택입니다.

마지막 생각 (Final Thought)

2026년에 LLM을 사용하여 무엇인가를 구축하고 있다면, 모델 계층 (model layer)을 인프라 (infrastructure)처럼 취급하세요. 인터페이스 (interface)를 표준화하고, 벤더 (vendor)를 추상화하며, 언제든 교체할 수 있는 능력에 최적화하세요. CTO의 역할은 오늘 가장 좋은 모델을 선택하는 것이 아니라, 앱을 다시 작성하지 않고도 내일 가장 좋은 모델을 선택할 수 있도록 보장하는 것입니다.

저는 이 모든 것을 Global API에서 실행하고 있습니다. 왜냐하면 그들은 제가 정확히 그렇게 할 수 있게 해주며, 비용 소모 (burn)를 통제할 수 있는 가격과 커피를 내리는 것보다 적은 시간이 걸리는 설정을 제공하기 때문입니다. 원하신다면 global-apis.com에서 확인해 보세요. 그들이 제공하는 100개의 무료 크레딧은 184개의 모든 모델을 테스트하고 직접 확인하기에 충분하고도 남습니다. 그것이 진정으로 제가 시작한 방식이며, 저는 뒤를 돌아보지 않았습니다.