p99 SLA를 준수하면서 AI API 비용을 절반으로 줄인 방법

핵심은 이것입니다: p99 SLA를 준수하면서 어떻게 우리의 AI API 비용을 절반으로 줄였는가

새벽 4시 12분에 PagerDuty 알림으로 휴대폰이 울리던 그 아침을 여전히 기억합니다. 서비스 중단은 아니었습니다. 그보다 더 나쁜 상황이었죠. 우리의 AI 추론 (inference) 비용이 3개월 연속으로 예산 임계값을 넘어섰고, CFO는 주간 회의에서 "지속 불가능한 비용 소모율 (burn rate)" 같은 표현을 쓰기 시작했습니다. 그렇게 저의 6주간의 AI API 경제학에 대한 심층 연구가 시작되었습니다. 지연 시간 (latency) 대시보드와 청구서를 번갈아 확인하며 클라우드 아키텍트 (cloud architect)의 관점에서 제가 배운 것들을 여러분께 공유하고자 합니다.

내가 물려받은 스택 (The Stack I Inherited)

작년에 팀에 합류했을 때, 우리의 추론 (inference) 레이어는 좋게 말해서 약간 순진한 상태였습니다. 우리는 모든 것을 GPT-4o를 통해 실행하고 있었는데, 왜냐하면 그게 모두가 알고 있는 모델이었기 때문입니다. 우리는 us-east-1, eu-west-1, ap-southeast-1의 세 개 리전 (region)을 활성화하여 운영 중이었고, 각 리전은 단일 업스트림 제공업체 (upstream provider)로부터 데이터를 가져오고 있었습니다. 지연 시간 (latency)은 p95 수치가 수용 가능한 수준이라는 점에서 "괜찮은" 편이었지만, p99 수치는 다른 이야기를 하고 있었습니다. 그리고 청구서는요? 청구서는 그야말로 공포 영화였습니다.

그때부터 저는 AI API 선택을 다른 인프라 (infrastructure)를 다루는 방식과 동일하게 취급하기 시작했습니다. 즉, 신뢰성 제약 조건, 비용 예산, 그리고 준수해야 할 SLA가 있는 시스템 설계 (system design) 문제로 접근한 것입니다.

SLA 우선, 가격은 그다음

더 많은 팀이 내재화했으면 하는 사실이 하나 있습니다. 토큰 (token)당 가장 저렴한 모델이 프로덕션 (production) 환경에서 가장 저렴한 모델은 아니라는 점입니다. 만약 p99 지연 시간을 두 배로 늘리는 저가형 모델로 교체한다면, 여러분은 재무적 비용을 사용자 경험 비용으로 맞바꾼 것이며, 그 비용은 결국 고객 이탈 (churn) 지표로 청구될 것입니다.

따라서 저의 접근 방식은 다음과 같았습니다: 먼저 SLA를 정의한 다음, 이를 충족하는 가장 저렴한 모델을 찾는 것입니다. 구조화된 추출 (structured extraction), 요약 (summarization), 그리고 대화형 AI (conversational AI)가 혼합된 우리의 워크로드 (workload)에 대해 우리는 다음과 같은 목표를 설정했습니다:

채팅 워크로드 (chat workloads)에 대해 1.5초 미만의 p99 지연 시간 (latency)
단일 달력 월 기준 99.9%의 가용성 (availability)
800ms 미만의 자동 재라우팅 (automatic rerouting)을 포함한 멀티 리전 페일오버 (Multi-region failover)
관측된 피크 부하의 3배에 달하는 처리량 여유분 (Throughput headroom) (오토스케일링 (auto-scaling)이 결코 패닉처럼 느껴져서는 안 되기 때문)

이 수치들이 기록되자, 모델 선택은 훨씬 더 즐거운 작업이 되었습니다.

내 생각을 바꾼 가격표

솔직히 말씀드리면, 데이터를 스프레드시트에 실제로 불러오기 전까지는 새로운 모델 제품군들을 무시해 왔습니다. Global API는 현재 184개의 모델을 제공하고 있으며, 토큰 가격은 티어 (tier)에 따라 100만 토큰당 $0.01에서 $3.50 사이입니다. 제가 최종 후보 목록(shortlist)에 올린 부분은 다음과 같습니다:

모델 (Model)	입력 (Input, $/M)	출력 (Output, $/M)	컨텍스트 윈도우 (Context Window)
DeepSeek V4 Flash	0.27	1.10	128K
...

잠시 이 표를 봐주세요. 정말 자세히 봐주시기 바랍니다. GPT-4o의 100만 토큰당 $10.00라는 출력 가격은, 동일한 완성 (completion)에 대해 우리가 GLM-4 Plus에 지불할 금액보다 9배 이상 높습니다. 그리고 — 처음에 저를 소름 끼치게 했던 부분은 — 우리의 내부 품질 벤치마크 (quality benchmarks) 결과, GLM-4 Plus가 우리의 평가 스위트 (evaluation suite)에서 84.6%를 기록했다는 점입니다. 이는 GPT-4o가 동일한 작업에서 기록한 점수의 오차 범위 (noise floor) 내에 있는 수치였습니다.

거짓말 안 하고, 이 결과를 믿기 전에 주말 내내 평가 (evals)를 다시 실행했습니다. 하지만 수치는 실제였습니다.

멀티 리전 페일오버 레이어 구축하기

최종 후보 목록을 정한 후, 아키텍처 (architecture) 작업이 시작되었습니다. 저는 다음과 같은 기능을 수행할 수 있는 레이어가 필요했습니다:

워크로드 유형에 따라 요청을 적절한 모델로 라우팅 (Route)
기본 모델의 p99 지연 시간이 임계값을 초과할 경우 보조 모델로 페일오버 (Fail over)
여러 리전에 트래픽 분산
공격적인 캐싱 (Cache) (이 부분은 잠시 후에 다루겠습니다)

이것이 제가 최종적으로 작성한 라우팅 모듈 (routing module)입니다. 화려하지는 않지만 신뢰할 수 있으며, 온콜 (on call) 상황에서는 그것만이 유일하게 중요한 형용사입니다:

import os
import time
import openai
...

그 try/except 블록은 보기보다 더 많은 일을 하고 있습니다. 이를 프로덕션(production) 환경에서 운영한 첫 3주 동안, 폴백(fallback) 경로가 실행된 횟수는 정확히 7번이었습니다. 매번 사용자는 에러를 보지 못했습니다. 대신 약간 더 느린 응답을 받았을 뿐이며, 이것이 바로 SLA를 인지하는 아키텍처(SLA-aware architecture)의 핵심 목적입니다.

캐싱(Caching): 모든 비용을 상쇄하는 지루한 최적화

클라우드 경제학(cloud economics)에 관한 비밀을 하나 알려드리겠습니다. 가장 잘 아낀 달러는 아예 쓰지 않은 달러입니다. 모델 선택 로직을 전혀 건드리기 전에, 저는 추론 엔드포인트(inference endpoints) 앞에 Redis 캐시(cache)를 구축했습니다. 반복되는 트래픽—되풀이되는 질문, 템플릿화된 프롬프트(prompts), 자동 완성 스타일의 입력—이 놀라울 정도로 많았고, 일주일 만에 히트율(hit rate)이 40%까지 올라갔습니다.

트래픽이 많은 추론 경로에서 40%의 히트율은 엄청난 수치입니다. 이는 해당 쿼리들에 대한 토큰(token) 지출을 즉각적으로 40% 감소시켰으며, 캐시된 응답에 대한 p99 지연 시간(latency) 또한 1.4초에서 200밀리초(milliseconds) 미만으로 낮추었습니다. 이는 재무 부서와 제품 부서 모두를 만족시키는 종류의 승리이며, 클라우드 아키텍트(cloud architect)로서 이러한 승리는 다음 분기에 더 큰 예산을 확보할 수 있게 해줍니다.

체감 지연 시간(Perceived Latency)을 위한 스트리밍(Streaming)

이것은 엄밀히 말해 비용 최적화는 아니지만, 같은 맥락에 있습니다. 서버 전송 이벤트(Server-Sent Events)를 통해 완료(completions) 과정을 스트리밍하는 것은 토큰 비용을 줄여주지는 않습니다. 출력되는 모든 토큰에 대해 여전히 비용을 지불해야 하기 때문입니다. 하지만 체감 지연 시간(perceived latency)을 극적으로 낮춰줍니다. 사용자는 약 200~300ms 내에 첫 번째 토큰을 보게 되며, 전체 완료에 1.2초가 걸리더라도 경험상 반응이 빠른 것처럼 느껴집니다.

배칭(batching)을 튜닝한 후 우리의 처리량(throughput) 통계는 지역당 초당 약 320토큰 수준으로 안정화되었으며, 이는 클러스터(cluster)를 확장하지 않고도 트래픽 급증(traffic spikes)을 견딜 수 있는 충분한 여유(headroom)를 제공했습니다. 오토스케일링(Auto-scaling)은 프로모션 캠페인 기간 동안 한 달에 두 번 정도 작동했을 뿐, 나머지 시간에는 매우 효율적으로 운영되었습니다.

프로덕션 수치 (3개월 후)

여러분의 마이그레이션(migration)에 대한 기대치를 조정할 수 있도록 실제 수치를 제시하겠습니다:

전년 대비 월간 추론 비용(Monthly inference spend) 58% 감소
채팅 엔드포인트(chat endpoints)의 p99 지연 시간(latency): 1.18초 (GPT-4o의 1.6초에서 감소)
3개 지역 전체에서 관찰된 가동 시간(uptime) 99.95%
캐시 히트율(Cache hit rate) 42%로 안정화
평가 스위트(eval suite) 전반의 평균 벤치마크 점수: 84.6%

마지막 항목은 제가 꼭 강조하고 싶은 부분입니다. 업계 일부에서는 더 저렴한 모델이 곧 품질 저하를 의미한다는 서사가 있습니다. 하지만 우리가 관찰한 결과는 그렇지 않았습니다. 구조화된 추출(structured extraction), 요약(summarization), 분류(classification)와 같은 우리의 특정 워크로드 혼합(workload mix)에 있어, GPT-4o와 DeepSeek/GLM/Qwen 계층 간의 격차는 우리 평가 방법론의 노이즈 플로어(noise floor) 범위 내에 있었습니다.

몇 가지 뼈아픈 교훈

만약 제가 과거로 돌아가 이 프로젝트를 시작하기 전의 저에게 세 가지를 말해줄 수 있다면, 다음과 같을 것입니다.

첫째, 단일 벤치마크를 신뢰하지 마세요. 저는 실제 프로덕션 트래픽에서 추출한 400개의 프롬프트(물론 개인정보(PII)는 삭제됨)로 내부 평가 스위트(eval suite)를 구축했습니다. MMLU와 같은 일반적인 벤치마크는 방향을 잡는 데는 유용하지만, 그것이 여러분의 트래픽은 아닙니다.

둘째, 첫 일주일 동안은 레이트 리밋(rate-limit) 대시보드를 매의 눈으로 감시하세요. 우리는 3일 차에 예상치 못한 할당량(quota) 상한선에 부딪혔는데, 이는 APAC 지역의 주말 트래픽을 과소평가했기 때문입니다. 페일오버(failover) 로직이 우리를 구했지만, 그것은 단지 로직이 존재했기 때문일 뿐입니다.

셋째, 킬 스위치(kill switch)를 설정하세요. 진심입니다. 어느 금요일 오후, 잘못 설정된 프롬프트 템플릿이 200토큰 요약이어야 할 작업에 대해 8K 토큰 출력을 생성하기 시작한 적이 있습니다. 프롬프트 유형에 따라 요청당 max_tokens를 제한하는 라우터(router) 내의 킬 스위치가 약 14,000달러 규모의 사고를 막아주었습니다.

더 일찍 작성했더라면 좋았을 작은 스크립트

현재 모든 추론 포드(inference pod)에서 실행 중인 작은 모니터링 스크립트입니다. 이 스크립트는 이동 창(rolling windows)에 걸친 p99 지연 시간을 추적하고 SLA를 위반할 때 알림을 보냅니다. 부끄러울 정도로 간단하지만, 사용자가 알아차리기 전에 세 번의 드리프트(drift) 사고를 잡아냈습니다.

import time
import statistics
from collections import deque
...

그게 전부입니다. Prometheus exporter도, 화려한 히스토그램(histograms)도 필요 없습니다. 그저 deque 하나, 정렬(sort) 한 번, 그리고 알림(alert)만 있으면 됩니다. 이를 사이드카(sidecar)로 실행하고, 위반 횟수를 관측성 스택(observability stack)으로 전송한 뒤, 당신의 일상으로 돌아가세요.

다른 아키텍트에게 해주고 싶은 말

만약 지금 통제 불능인 AI API 비용 문제로 고민하고 있다면, 제가 추천하는 경로는 다음과 같습니다. 먼저 SLA(Service Level Agreement)를 p99 지연 시간(latency), 가동 시간(uptime), 처리량(throughput)과 같이 구체적인 용어로 작성하세요. 그리고 그 문서가 존재하기 전까지는 모델 선정에 대한 논의를 거부하십시오. 그다음, 실제 운영 트래픽(production traffic)을 기반으로 작은 평가 스위트(eval suite)를 구축하세요. 그러고 나서 그동안 무시해 왔던 제공업체들을 포함하여, 가격표를 정직하게 살펴보십시오.

2026년의 시장은 진정으로 경쟁적입니다. Global API를 통해 184개의 모델이 제공되고 있으며, 가격은 100만 토큰당 0.01달러에서 3.50달러까지 다양하므로, 거의 확실하게...