AI 서비스 출시 후 클라우드 비용이 폭증했습니다

원문은 lavkesh.com에 게시되었습니다.

우리의 AI 기능은 순조롭게 작동하고 있었지만, 하룻밤 사이에 클라우드 비용이 세 배로 뛰었습니다. 아무도 그 부분에 대해서는 경고해주지 않았습니다.

지난 3년 동안 업계는 모델 크기, 데이터 볼륨, 벤치마크 점수를 자랑하며 더 큰 학습 (Training) 과정을 쫓아왔습니다. 학습은 헤드라인을 장식하지만, 이는 일회성 비용입니다.

2026년 초, 추론 (Inference) 비용이 마침내 학습 비용을 추월했습니다. 현재 AI 클라우드 인프라의 55%가 추론을 위해 사용되고 있으며, 이는 3년 전 약 30%에서 증가한 수치입니다. 분석가들은 연말까지 이 비율이 70~80%에 달할 것으로 예상합니다.

개발 단계에서는 API 호출이 하루에 몇 백 건 정도에 불과하여 비용이 미미해 보이고 모든 것이 괜찮은 것처럼 느껴집니다. 하지만 실제 사용자에게 배포하면 그 호출은 수백 건에서 수백만 건으로 폭발하며, 스프레드시트 상에서 합리적으로 보였던 토큰당 요율 (per-token rate)은 거대한 비용 항목이 됩니다.

Gartner의 보고에 따르면, AI를 확장하는 기업들의 비용 추정 오류는 500%에서 1,000%에 달합니다. 20만 달러의 예산은 실제 운영 트래픽이 발생하면 200만 달러로 불어날 수 있습니다.

에이전트 워크플로우 (Agentic workflows)는 이 문제를 증폭시킵니다. 추론 미터기는 사용자가 말을 할 때뿐만 아니라, 에이전트가 판단을 내리고, 도구 (tool)를 호출하고, 컨텍스트 (context)를 다시 읽거나, 루프 (loop)를 돌 때도 작동합니다. 단 한 번의 상호작용이 코드에는 나타나지 않는 20번의 모델 호출을 발생시킬 수 있습니다.

해결책은 간단합니다. 추론을 다른 모든 엔지니어링 관심사처럼 취급하십시오. 분류 (classification), 추출 (extraction) 또는 짧은 답변과 같은 단순한 작업은 더 작고 저렴한 모델로 라우팅 (route)하고, 큰 모델은 어려운 사례를 위해 남겨두십시오.

또한 가시성 (visibility)이 필요합니다. 사용자당, 기능당 비용을 추적하고 어떤 엔드포인트 (endpoint)가 지출의 대부분을 차지하는지 식별하십시오. 대부분의 팀은 파이프라인에 관측성 (observability)을 구축하지 않았기 때문에 이러한 데이터가 부족합니다.

대화의 중심이 어떤 모델이 승리하느냐에서 어떻게 효율적으로 모델을 실행하느냐로 이동하고 있습니다. IBM은 올해 모델들이 범용 제품 (commodities)이 되고 있으며, 이제 차별화 요소는 모델을 제공하는 인프라 (infrastructure)라고 밝혔습니다. 추론 (inference)이 과거의 학습 (training)보다 더 많은 온콜 (on-call) 호출을 발생시킬 것으로 예상하십시오.