아무도 경고해주지 않는 AI API의 숨겨진 비용

몇 달 전, 저는 단순한 챗봇이라고 생각되는 것을 만들었습니다. 거창한 것은 아니었습니다. 사용자들이 제 문서에 대해 질문할 수 있도록 GPT-3.5를 래퍼 (wrapper)로 감싼 형태였습니다. 저는 비용을 추산했습니다. 요청당 대략 $0.002, 인기가 많아지더라도 한 달에 $20 정도면 될 것이라고 생각했습니다. 저는 그것을 출시하고 몇몇 포럼에 공유한 뒤 기다렸습니다.

2주 만에 청구 금액이 $340에 달했습니다.

저는 속도 제한 (rate-limited)을 받은 것도 아니었고, 이용 약관을 위반한 것도 아니었습니다. 저는 단지 모든 AI API 벤더 (vendor)들이 그들의 보기 좋은 가격표에서 편리하게 누락시키는 숨겨진 비용들을 계산에 넣지 않았을 뿐입니다. 만약 여러분이 이러한 API를 기반으로 무언가를 구축하고 있다면, 여러분도 알고 있든 모르든 아마 그 비용을 지불하고 있을 것입니다.

토큰당 가격 책정 (Per-Token Pricing)의 기만적인 단순함

OpenAI의 가격 페이지를 열었을 때 가장 먼저 보이는 것은 깔끔한 표입니다. GPT-3.5는 1k 토큰당 $0.002, GPT-4는 $0.03입니다. 충분히 간단해 보입니다. 토큰에 가격을 곱하면 비용이 나옵니다. 하지만 이는 자동차의 비용이 단순히 표시 가격일 뿐이라고 말하는 것과 같습니다. 보험, 연료, 유지보수, 그리고 가끔 발생하는 주차 위반 딱지는 무시한 채 말이죠.

현실은 실제 요청당 비용이 즉각적으로 드러나지 않는 수십 가지 변수에 달려 있다는 것입니다:

시스템 프롬프트 (System prompts) – 시스템 메시지를 설정할 때마다, 여러분은 매 요청마다 해당 토큰에 대한 비용을 지불하게 됩니다. 500토큰의 시스템 프롬프트는 모든 사용자 쿼리가 $0.001의 오버헤드 (overhead)와 함께 시작됨을 의미합니다. 10,000번의 요청이 지나면, 이는 여러분이 예산에 전혀 반영하지 않았던 $10가 됩니다.
응답 패딩 (Response padding) – 많은 API는 여러분이 요청한 것 이상의 추가 토큰을 생성합니다. 안전 토큰 (safety tokens), 포맷팅 토큰 (formatting tokens),

Rate Limits (속도 제한): 숨겨진 세금

여러분에게 익숙할 만한 시나리오가 하나 있습니다.

API를 호출하는 기능을 하나 만듭니다. 로컬에서 테스트할 때는 잘 작동합니다. 프로덕션(production)에 배포합니다. 갑자기 요청들이 429 Too Many Requests 오류와 함께 실패하기 시작합니다. 지수 백오프 (exponential backoff)를 적용한 재시도 로직 (retry logic)을 구현합니다. 이제 사용자들은 응답을 받기 위해 3초, 5초, 10초를 기다려야 합니다. 지연 시간 (latency) 지표가 빨간색으로 변합니다. 상사는 왜 앱이 느리게 느껴지는지 묻습니다.

플랜을 업그레이드합니다. 이제 500 RPM 대신 3,000 RPM을 제공하는 티어 (tier)를 위해 매달 200달러를 지불하고 있습니다. 하지만 트래픽 급증 (traffic spikes)을 감당하기에 이것이 충분한지는 여전히 확신할 수 없습니다.

속도 제한 (Rate limits)은 숨겨진 비용입니다. 왜냐하면 실제로 처리량 (throughput)이 필요하기 전에 더 높은 티어로 넘어가도록 강제하기 때문입니다. 여러분은 결코 사용하지 않을 수도 있는 여유 용량 (headroom)에 대해 비용을 지불하고 있는 것입니다. 그리고 가장 최악인 점은 무엇일까요? 많은 제공업체가 최적화를 할 수 있을 만큼 실시간 사용 데이터를 세밀하게 공개하지 않는다는 것입니다. 여러분은 두려움 때문에 필요한 것보다 더 많은 용량을 구매하며 눈을 가린 채 비행하고 있는 셈입니다.

저는 과거에 실제 사용량보다 5배나 많은 처리량에 대해 비용을 지불하고 있다는 사실을 계산한 적이 있습니다. 단지 바로 아래 단계의 티어가 피크 시간 (peak hours) 동안 너무 많은 429 오류를 유발하는 동시성 제한 (concurrency limit)을 가지고 있었기 때문이었습니다.

컨텍스트 (Context)와 캐싱 (Caching)의 세부 조항

캐싱 (caching)에 대해 이야기해 봅시다. 두 사용자가 동일한 질문을 하면 API가 결과를 재사용할 것이라고 생각할 수도 있습니다. 아닙니다. 대부분의 AI API는 요청당 비용을 청구하며, 그것으로 끝입니다. 중복 제거 (deduplication)도 없습니다. 컨텍스트 인식 캐싱 (context-aware caching)도 없습니다. 모든 동일한 쿼리 (query)는 새로운 트랜잭션 (transaction)입니다.

하지만 잠깐만요—캐싱을 하지 않음으로써 발생하는 숨겨진 비용도 있습니다. 만약 여러분이 직접 캐싱 레이어 (caching layer)를 구축한다면 (그렇게 해야 합니다), 이제 캐시 무효화 (cache invalidation), 저장소 (storage), 그리고 이를 구현하기 위한 엔지니어링 시간까지 관리해야 합니다. 이 또한 가격표에는 나와 있지 않은 비용입니다.

그리고 컨텍스트 윈도우 (context window)가 있습니다. 일부 제공업체들은 이제 128k 토큰, 200k 토큰과 같이 확장된 컨텍스트를 제공합니다. 가격은 선형적으로 증가하지만, 진짜 비용은 모든 것을 하나의 요청에 쑤셔 넣도록 유도된다는 점입니다. 이는 응답 속도를 늦추고 청구 금액을 높이는 결과로 이어집니다. 저는 팀들이 컨텍스트 윈도우를 데이터베이스 (database)처럼 취급하다가, 단순한 조회 (lookup) 한 번에 쿼리당 5달러를 지불하고 있다는 사실을 뒤늦게 깨닫는 것을 보았습니다.

벤더 종속 (Vendor Lock-In): 비싼 작별 인사

너무 늦기 전까지는 아무도 이야기하지 않는 비용은 바로 전환 비용 (switching cost)입니다. 여러분은 하나의 API SDK, 하나의 모델이 가진 특이점, 그리고 한 제공업체의 속도 제한 (rate limit) 구조를 중심으로 애플리케이션 전체를 구축합니다. 그러다 더 저렴하고 성능이 좋은 새로운 모델이 출시됩니다. 여러분은 전환하고 싶어집니다.

하지만 이제 여러분은 다음 작업들을 수행해야 합니다:

새로운 모델의 동작에 맞게 프롬프트 엔지니어링 (prompt engineering)을 다시 작성
서로 다른 에러 코드에 맞춰 에러 핸들링 (error handling) 업데이트
서로 다른 속도 제한에 맞춰 재시도 로직 (retry logic) 재조정
데이터 포맷 변경 가능성 (어떤 API는 JSON을 사용하고, 다른 API는 다른 스키마 (schema)를 사용함)

저는 팀들이 한 제공업체에서 다른 제공업체로 마이그레이션 (migration)하는 데 몇 주를 소비하는 것을 보았습니다. 엔지니어링 시간만으로도 토큰당 가격 인하로 절약한 첫해 비용보다 더 많은 비용이 발생했습니다. 또한 마이그레이션 기간 동안에는 두 API가 모두 실행되므로 비용이 두 배로 듭니다.

이것이 벤더 종속 (vendor lock-in)의 숨겨진 비용입니다. 이는 송장 (invoice)의 항목으로 나타나지는 않지만, 여러분의 주머니에서 나가는 실제 돈이며 여러분의 일정에서 빠져나가는 실제 시간입니다.

실제 코드 예시

숨겨진 비용이 어떻게 스며드는지에 대한 간단한 예시입니다. 여러분이 사용자 이메일을 요약하기 위해 OpenAI API를 사용한다고 가정해 봅시다. 여러분은 다음과 같이 코드를 작성합니다:

import openai

def summarize_email(email_text):
...

괜찮아 보이죠? 하지만 어떤 일이 일어날지 생각해 보세요:

시스템 프롬프트 (System Prompt)가 14 토큰입니다. 이는 당신이 명시적으로 측정하지는 않았지만, 요청(Request)당 14 토큰씩 비용을 지불하고 있다는 뜻입니다.
모델이 내부 패딩 (Padding) 때문에 100 토큰보다 더 많은 토큰을 출력할 수 있습니다. 저는 최대치(Max)를 100으로 설정했을 때 120 토큰이 반환되는 것을 본 적이 있습니다. API는 당신이 설정한 제한이 아니라 전체 생성량을 계산합니다.
만약 이메일이 길다면 (예: 500 토큰), 호출당 500 + 14 + ~120 = 634 토큰에 대한 비용을 지불하게 됩니다. 1,000 토큰당 $0.002라고 가정하면, 호출당 $0.00127입니다. 한 달에 100,000통의 이메일을 처리한다면 이는 $127가 됩니다.
하지만 속도 제한 (Rate Limits) 때문에 재시도 (Retry)를 해야 한다면 어떨까요? 각 재시도는 비용을 배가시킵니다. 저는 한때 요청의 10%가 재시도를 필요로 하는 파이프라인을 운영한 적이 있는데, 이로 인해 $12.70가 추가로 발생했습니다.

이 중 어느 것도 사기는 아닙니다. 단지 가격 책정 방식이 그러할 뿐입니다. 하지만 이를 고려하지 않는다면, 당신의 예산은 폭발할 것입니다.

투명성의 격차 (The Transparency Gap)

그 $340의 달을 보낸 후, 저는 모든 개별 비용 구성 요소를 이해하는 데 집착하게 되었습니다. 저는 대시보드를 구축하고, 모든 API 호출의 토큰 사용량을 기록하며, 실제 청구액을 제 추정치와 비교했습니다. 그 결과, 제가 단순하게 계산했던 예측치보다 항상 20~30% 더 많은 비용을 지불하고 있다는 사실을 발견했습니다.

문제는 대부분의 제공업체가 이를 투명하게 공개할 유인이 없다는 점입니다. 그들은 당신이 월간 구독이나 단위 가격은 낮아 보이지만 총액은 예측할 수 없는 종량제 (Pay-as-you-go) 플랜을 사용하기를 원합니다. 그들은 긴 컨텍스트 오버헤드 (Long context overhead)에 대해 말해주지 않는데, 이는 그들에게 이득이 되지 않기 때문입니다.

그렇다면 대안은 무엇일까요?

저는 숨겨진 수수료가 없고, 강제적인 등급(Tier)이 없으며, 실시간 비용 가시성을 제공하는 정직한 종량제 가격 정책을 가진 서비스로 눈을 돌리기 시작했습니다. 여러 서비스를 시도해 본 끝에, 저는 다른 개발자들에게 실제로 추천하는 하나의 서비스로 정착했습니다: tai.shadie-oneapi.com입니다. 이곳은 예상치 못한 요금 없이 여러 모델에 접근할 수 있게 해주는 투명한 API 게이트웨이 (API Gateway)입니다. 당신은 사용한 만큼만 정확히 지불합니다. 속도 제한 등급도, 컨텍스트 윈도우 (Context window) 패딩 속임수도, 벤더 종속 (Vendor lock-in)도 없습니다. 비용을 실시간으로 확인할 수 있으며, 코드를 다시 작성할 필요 없이 모델을 전환할 수 있습니다.

솔직히 말씀드리면, 저는 그들과 아무런 관련이 없습니다. 저는 그저 대형 기업들에게 야금야금 비용을 뜯기는 것에 지쳤을 뿐이며, 이 서비스는 단순하고 정직한 가격 책정이라는 약속을 실제로 이행하고 있습니다.

내가 배운 것들

AI API를 기반으로 서비스를 구축하는 것은 여전히 놀라운 일입니다. 그 기능들은 경이로운 수준입니다. 하지만 가격 모델은 소규모 팀이나 개인 개발자(Indie developers)를 위해 설계되지 않았습니다. 예측 불가능한 청구서를 감당할 수 있고, 모든 토큰 (Token)을 최적화할 전담 엔지니어를 보유한 기업 (Enterprises)을 위해 설계되었습니다.

만약 여러분이 AI로 무언가를 만들고 있다면, 저의 조언은 다음과 같습니다:

모든 것을 기록하세요. 요청 (Request)당, 사용자당, 세션 (Session)당 토큰 사용량을 추적하세요. 측정하지 않는 것은 최적화할 수 없습니다.
캐싱 레이어 (Caching layer)를 구축하세요. 동일한 쿼리 (Query)에 대해 간단한 Redis 캐시를 사용하는 것만으로도 비용을 30~50% 절감할 수 있습니다.
강력한 상한선 (Hard caps)을 설정하세요. 예산 상한선을 강제하는 API 레벨의 제한이나 프록시 (Proxy) 서비스를 사용하세요. 제공업체가 경고해 줄 것이라고 믿지 마세요.
첫날부터 종속 (Vendor lock-in)을 피하세요. 추상화 레이어 (Abstraction layer)—단순한 래퍼 함수 (Wrapper function)일지라도—를 사용하여 전체 앱을 다시 작성하지 않고도 모델이나 제공업체를 전환할 수 있도록 하세요.

AI API의 숨겨진 비용은 실재하지만, 피할 수 없는 것은 아닙니다. 약간의 주의와 적절한 도구가 있다면, 비용 폭탄 없이도 훌륭한 AI 기반 제품을 만들 수 있습니다. 그리고 만약 가격 책정이 실제로 투명한 제공업체를 찾는다면, 꼭 붙잡으세요. 그들은 생각보다 훨씬 희귀하니까요.