품질 저하 없이 고객의 AI API 비용을 월 85,000루피에서 12,000루피로 절감한 방법

월 85,000루피. 지난 분기 고객이 약간의 패닉 상태로 저에게 전화했을 때, 그들의 편지함에 놓여 있던 AI API 청구서 금액이었습니다. 그들은 푸네(Pune)에서 하루 약 4,000건의 주문을 처리하는 중형 이커머스 운영사를 운영하고 있으며, 고객 지원, 제품 설명, 그리고 내부 보고에 AI를 통합해 사용하고 있었습니다. AI는 아주 훌륭하게 작동하고 있었습니다. 하지만 청구서는 그렇지 않았습니다.

"Archit bhai, AI toh kaam kar raha hai, lekin cost control se bahar ja raha hai." (AI는 작동하고 있지만, 비용이 통제 불능 상태로 치솟고 있습니다.)

3주 후, 그들의 월간 청구서는 12,400루피가 되었습니다. 작업 내용은 동일했습니다. 품질도 동일했습니다. 어떤 타협도 없었습니다. 무엇이 정확히 바뀌었는지 여기 공개합니다.

진짜 문제: 모든 작업에 가장 비싼 모델을 사용하고 있었다

그들의 설정을 감사했을 때, 문제는 5분 만에 명확해졌습니다. 고객 불만을 8개 카테고리 중 하나로 분류하든, 2,000단어 분량의 제품 설명을 생성하든, 모든 API 호출이 동일한 프리미엄 모델(premium model)을 호출하고 있었습니다. 이는 AI를 도입하는 기업들이 저지르는 가장 흔한 실수입니다. 개념 증명(proof-of-concept) 단계에서 모델 하나를 선택한 뒤, 규모를 확장하면서 그 결정을 다시 검토하지 않는 것입니다.

이렇게 생각해보세요. 데이터 입력을 시키기 위해 시니어 공인회계사(senior chartered accountant)를 고용하지는 않을 것입니다. 하지만 본질적으로 그런 일이 벌어지고 있었습니다. 최상위 추론 모델(reasoning model)이 "이 불만 사항이 배송에 관한 것인가, 아니면 결제에 관한 것인가?"라는 질문에 답하는 데 사용되고 있었던 것입니다.

해결책 #1: 모델 라우팅 (Model Routing) — 가장 큰 비용 절감 레버

모델 라우팅(Model routing)은 각 작업을 수용 가능한 품질로 처리할 수 있는 가장 저렴한 모델로 보내는 관행입니다. 저는 그들의 약 47가지의 서로 다른 API 호출 유형을 세 가지 계층으로 분류했습니다.

계층 (Tier)	작업 유형 (Task Types)	모델 클래스 (Model Class)	비용 영향 (Cost Impact)
Simple	분류 (Classification), 추출 (extraction), 예/아니오 결정 (yes/no decisions), 포맷팅 (formatting)	경량 모델 (Lightweight, Haiku급)	호출당 약 90% 저렴
...

그 결과는 어땠을까요? API 호출의 68%가 경량 계층 (lightweight tier)으로 이동했고, 20%는 중간 계층 (mid-tier)으로, 단 12%만이 프리미엄 (premium) 계층에 남았습니다. 이 단 한 번의 변화로 청구 금액이 85,000루피(₹85K)에서 약 38,000루피(₹38K)로 떨어졌습니다. 품질 저하는 없었습니다. 완전히 전환하기 전 2주 동안 고객 만족도 점수에 대한 A/B 테스트를 실시했습니다.

해결책 #2: 프롬프트 캐싱 (Prompt Caching) — 동일한 컨텍스트에 중복 비용 지불 중단

그들의 고객 지원 봇은 모든 API 호출마다 동일한 1,200토큰의 시스템 프롬프트 (system prompt)를 보냈습니다. 이는 회사 정책, 어조 가이드라인, 제품 카탈로그 컨텍스트 등 수천 건의 일일 호출에 걸쳐 모두 동일한 내용이었습니다. 매 호출마다 모델이 불과 몇 분 전에 이미 처리했던 정보에 대해 전체 입력 토큰 (input token) 가격을 지불하고 있었던 것입니다.

프롬프트 캐싱 (Prompt caching)이 이 문제를 해결합니다. 첫 번째 호출이 전체 시스템 프롬프트를 처리하면, 캐시 창 (cache window) 내의 후속 호출은 아주 적은 비용으로 이를 참조합니다. 하루 약 6,000건의 지원 상호작용이라는 그들의 규모를 고려할 때, 이것만으로도 매월 8,000~10,000루피(₹8,000-10,000)를 절감했습니다.

간단한 계산: 하루 6,000회 호출 x 1,200토큰 x 30일 = 반복되는 시스템 프롬프트에만 한 달에 2억 1,600만 개의 입력 토큰 (input tokens) 소모. 표준 가격 기준으로 이는 청구 금액의 상당 부분을 차지하며, 프롬프트 캐싱은 이를 거의 제거할 수 있습니다.

해결책 #3: 긴급하지 않은 요청의 배치 처리 (Batching)

모든 것이 실시간 응답을 필요로 하는 것은 아닙니다. 일일 판매 요약, 재고 알림, 마케팅 성과 요약 등 그들의 내부 보고 파이프라인 (internal reporting pipeline)은 데이터 포인트가 들어올 때마다 개별적인 API 호출을 생성하고 있었습니다. 3~~4개로 쉽게 묶을 수 있는 60~~80개의 호출이 발생하고 있었습니다.

우리는 하루 동안 데이터를 수집한 다음 배치 창 (batch windows) — 오전 6시, 오후 2시, 오후 10시 — 에 맞춰 처리하도록 보고 구조를 재편했습니다. 배치 API (Batch API) 가격은 일반적으로 실시간보다 50% 저렴하며, 내부 보고서의 경우 몇 시간의 지연은 완전히 허용 가능한 범위입니다.

"Pehle har choti cheez ke liye alag call jaati thi. Ab ek baar mein sab ho jaata hai." (이전에는 모든 작은 작업마다 별도의 호출이 발생했습니다. 이제는 모든 것이 한 번에 처리됩니다.)

해결책 #4: 출력 토큰 규율 (Output Token Discipline)

이 방법은 미묘하지만 비용 절감 효과가 빠르게 누적됩니다. 기존의 제품 설명 프롬프트는 모델에게 "상세하고 포괄적인 제품 설명을 작성하라"고 요청했습니다. 모델은 이에 기꺼이 응답하여, 실제 제품 카드에 필요한 토큰은 200~~300개였음에도 불구하고 응답당 평균 800~~1,000개의 토큰을 생성했습니다.

우리는 명시적인 길이 제한과 구조화된 출력 형식 (structured output formats)을 사용하여 프롬프트를 다시 작성했습니다. 개방형 생성 대신, 모델은 다음과 같은 정확한 사양을 전달받았습니다: "정확히 3문장으로 제품 설명을 작성하세요. 첫 번째 문장: 제품이 무엇인지. 두 번째: 주요 이점. 세 번째: 대상 고객."

대부분의 제공업체에서 출력 토큰 (Output tokens)은 입력 토큰 (Input tokens)보다 가격이 더 비쌉니다. 매일 발생하는 수천 건의 호출에서 평균 출력 길이를 60% 줄임으로써 실질적인 비용 절감 효과를 거둘 수 있었습니다.

최종 수치

최적화 항목	월간 절감액
모델 라우팅 (Model routing)	₹47,000
...

이는 85%의 감소율입니다. AI는 정확히 동일한 작업을 수행합니다. 고객 만족도 점수는 오히려 3% 상승했습니다. 이는 경량 모델 (lighter models)이 더 빠르게 응답하기 때문일 가능성이 높으며, 고객은 약간 더 유창한 답변보다 더 빠른 답변을 선호합니다.

AI 비용에 대해 대부분의 사람들이 오해하는 것

본능적으로 더 저렴한 제공업체를 찾으려 합니다. "OpenAI에서 Claude로 바꿔야 할까? Claude에서 오픈 소스 모델 (open-source model)로 바꿔야 할까?" 때로는 이것이 도움이 되기도 하지만, 진정한 레버리지는 아키텍처 (architectural)에 있습니다. 저는 기업들이 제공업체를 세 번이나 바꾸고도 여전히 과다한 비용을 지불하는 것을 보았습니다. 그 이유는 근본적인 패턴 — 모든 것에 하나의 모델 사용, 캐싱 (caching) 부재, 장황한 출력 — 이 전혀 변하지 않았기 때문입니다.

만약 AI API 청구서가 예상보다 높다면, 다음 질문부터 시작해 보세요: API 호출 중 실제로 프리미엄 모델이 필요한 호출은 얼마나 되는가? 동일한 컨텍스트 (context)를 반복해서 보내고 있지는 않은가? 호출 중 배치 (batch) 처리할 수 있는 것은 없는가? 프롬프트가 실제 사용하는 것보다 더 많은 출력을 요구하고 있지는 않은가?

이러한 질문들에 대한 답변은 대개 청구 금액의 60~80%가 눈에 잘 띄지 않는 곳에 숨겨진 낭비라는 사실을 드러냅니다. AI에 돈을 덜 쓸 필요는 없습니다. 더 똑똑하게 써야 합니다.

FAQ

인도의 소규모 기업은 보통 AI API 호출에 비용을 얼마나 지불하나요?
AI API를 사용하는 대부분의 소규모 기업은 사용량과 모델 선택에 따라 월간 ₹15,000에서 ₹1,00,000 사이를 지출합니다. 가장 큰 비용 동인은 저렴한 모델이 충분히 잘 처리할 수 있는 작업에 프리미엄 모델을 사용하는 것입니다.

모델 라우팅 (Model routing)이란 무엇이며 어떻게 AI 비용을 절감하나요?
모델 라우팅 (Model routing)은 각 작업을 잘 처리할 수 있는 가장 저렴한 AI 모델로 보내는 것을 의미합니다. 간단한 분류 (classification) 작업은 경량 모델 (lightweight models)로 보내고, 복잡한 추론 (reasoning)은 프리미엄 모델로 보냅니다. 이것만으로도 비용을 40~60% 절감할 수 있습니다.

프롬프트 캐싱 (Prompt caching)이 정말로 AI API 청구 금액을 아껴줄 수 있나요?
네. 애플리케이션이 유사한 시스템 프롬프트 (system prompts)나 컨텍스트 (context)를 반복적으로 전송하는 경우, 프롬프트 캐싱 (prompt caching)을 통해 해당 토큰 (tokens)을 다시 처리하는 것을 방지할 수 있습니다. 사용 사례에 따라 반복 호출 시 입력 토큰 (input token) 비용을 50~90%까지 줄일 수 있습니다.

비용 절감만을 위해 AI 제공업체를 바꾸는 것이 가치가 있을까요?
항상 그런 것은 아닙니다. 진정한 절감은 제공업체를 바꾸는 것이 아니라 모델 라우팅 (model routing), 캐싱 (caching), 배치 (batching), 그리고 출력 토큰 (output token) 최적화와 같은 아키텍처 (architectural) 변화에서 옵니다. 그렇기는 하지만, 귀하의 특정 사용 사례에 대해 여러 제공업체의 가격을 비교하는 것은 언제나 현명한 방법입니다.

Archit Mittal은 기업이 혼란을 자동화하도록 돕습니다. LinkedIn에서 팔로우하세요: @automate-archit

관련 읽을거리: