당신이 예산에 반영하지 못한 AI 비용 (토큰 및 유지보수)

AI 프로젝트의 실제 비용은 모델이 작동한 이후에 발생하는 요소들이 지배합니다. 즉, 실제 규모에서의 토큰 사용량 (token usage), 지속적으로 실행해야 하는 평가 (eval) 및 모니터링 (monitoring), 통합 유지보수 (integration upkeep), 그리고 유지관리 (maintenance)입니다. 대부분의 조직은 AI 비용을 잘못 판단하며, 상당수는 심각하게 과소평가합니다. 모델 비용은 실제 총비용의 아주 작은 부분인 경우가 많습니다.

저는 예산 관련 논의에 참여하기 때문에, 이 부분을 가장 강력하게 밀어붙입니다. 돈이 실제로 어디로 흘러가는지, 그리고 프로젝트의 가치를 아는 고객을 겁주지 않으면서 어떻게 이를 계획하는지 알려드리겠습니다.

모델은 저렴한 부분입니다

모두가 집착하는 수치인 호출당 API 가격은 하락하고 있습니다. 하지만 비용은 여전히 상승하고 있는데, 이는 가격 하락보다 사용량 (volume)이 더 빠르게 증가하고 있기 때문입니다. 에이전트 (agents)와 긴 컨텍스트 창 (long context windows)에 힘입어 업계 전반의 토큰 소비량은 불과 1년 만에 수 배로 성장했습니다. 루프를 돌고, 재시도하며, 방대한 컨텍스트를 유지하는 에이전트는 단 한 번의 깔끔한 호출보다 훨씬 더 많은 비용을 조용히 발생시킬 수 있습니다.

경고 사례들은 실재합니다. 한 팀이 수천 명의 엔지니어에게 AI 코딩 도구를 제공했다가 몇 달 만에 연간 AI 예산 전체를 소진해 버린 사례가 있으며, 아무도 에이전트가 '해피 패스 (happy path, 정상 경로)' 이상의 작업을 수행할 때의 비용을 책정하지 않아 모델링된 범위를 훨씬 벗어난 사용량이 발생한 사례도 있습니다. 이것들은 특이한 실패 사례가 아닙니다. 운영 규모 (production volume)에서의 사용량을 아무도 모델링하지 않았을 때 발생하는 현상입니다.

따라서 저는 예산을 짤 때 데모의 토큰 비용을 책정하지 않습니다. 현실적인 복잡도에서의 요청당 비용을 추정하고, 여기에 현실적인 사용량을 곱한 뒤, 에이전트가 해피 패스에서 제안하는 것보다 더 많은 작업을 수행할 경우를 대비한 여유분 (headroom)을 추가합니다. 그런 다음 이를 고객이 볼 수 있는 항목으로 명시합니다. 왜냐하면 갑작스럽게 날아온 토큰 청구서는 단순한 재무 문제가 아니라 신뢰의 문제이기 때문입니다.

출시 후에 나타나는 비용들

AI의 총 소유 비용 (Total cost of ownership)은 구축 단계보다는 그 이후의 운영 라이프사이클 (operational lifecycle)에 의해 결정됩니다. 팀들을 당황하게 만드는 항목들은 다음과 같습니다:

• 지속적으로 실행하는 평가 (Evals). "완료"를 정의하는 하네스 (harness)는 일회성 구축으로 끝나지 않습니다. 모델은 변하고, 데이터는 드리프트 (drift)하며, 회귀 (regression)를 포착하기 위해 평가를 다시 실행해야 합니다.
• 모니터링 및 관측성 (Monitoring and observability). 프로덕션 환경에서 에이전트가 무엇을 하고 있는지, 비용이 얼마나 발생하는지, 어디서 오류가 발생하는지 확인해야 합니다. 그러한 툴링 (tooling)과 이를 모니터링하기 위한 주의력은 실제 예산에 포함됩니다.
• 통합 유지보수 (Integration upkeep). 연결된 모든 시스템은 API, 데이터, 또는 인증 (auth) 방식을 변경할 것입니다. 프롬프트 및 커넥터 드리프트 (Prompt and connector drift)는 일회성 비용이 아니라 유지보수 항목입니다.
• 유지보수 예비비 (Maintenance reserve). 합리적인 경험칙은 구축 비용의 15~25%를 매년 유지보수용으로 따로 떼어두는 것이며, 항상 발생하는 통합 관련 돌발 상황에 대비해 벤더 견적에 의미 있는 버퍼 (buffer)를 추가하는 것입니다.

이 중 어느 것도 프로토타입 단계에서는 보이지 않습니다. 이 모든 비용은 서비스가 라이브(live)가 되는 순간 발생하며, 이는 바로 우리가 The build-vs-buy line just moved에서 주장하듯, 단순히 저렴한 제작이 아니라 소유권 (ownership)을 위한 엔지니어링을 해야 하는 이유와 정확히 일치하는 패턴입니다.

클라이언트에게 이를 제시하는 방법

저는 예산을 두 개의 명확한 범주로 나누며, 절대 이를 혼동하지 않습니다: 구축 (build) (작동하게 만들고 평가를 통해 검증하는 단계) 및 운영 (run) (토큰, 모니터링, 평가 유지보수, 유지보수 비용, 월 단위). 대부분의 비용 관련 당혹감은 클라이언트에게 구축 비용만 보여주고 그것이 전체 비용이라고 가정하게 만들 때 발생합니다.

설득력 있는 간단한 프레임워크는 다음과 같습니다:

1. "이것은 구축하고 작동을 검증하는 데 드는 비용입니다."
2. "이것은 예상되는 볼륨에서의 월간 운영 비용이며, 에이전트가 정상 경로 (happy path)를 벗어나는 상황에 대비한 버퍼가 포함되어 있습니다."
3. "이것은 주변 시스템이 변경됨에 따라 시스템을 건강하게 유지하기 위한 연간 예비비입니다."

세 개의 정직한 숫자가 하나의 낙관적인 숫자보다 낫습니다. 클라이언트는 진실을 바탕으로 계획을 세울 수 있습니다. 하지만 출시 이후에 발생하는 모든 것을 암묵적으로 제외한 구축 비용만으로는 계획을 세울 수 없습니다.

핵심 요약 (Key takeaways)

• 대부분의 조직이 AI 비용을 잘못 판단합니다. 모델 비용은 실제 총 소유 비용 (TCO, Total Cost of Ownership)의 아주 작은 부분에 불과합니다.
• 토큰 가격은 하락하고 있지만 청구 금액은 상승하고 있습니다. 이는 사용량과 에이전트 루핑 (Agent looping)의 증가 속도가 가격 하락 속도를 앞지르기 때문입니다. 데모 수준이 아닌 실제 운영 (Production) 규모를 기준으로 예산을 세우십시오.
• 큰 비용은 출시 후에 발생합니다: 평가 (Eval) 유지 관리, 모니터링 (Monitoring), 통합 드리프트 (Integration drift), 그리고 유지보수 (Maintenance)가 이에 해당합니다.
• 연간 유지보수 예비비 (구축 비용의 15~25%)를 확보하고, 통합 과정에서 발생할 변수에 대비해 벤더 견적에 버퍼를 두십시오.
• 구축 (Build) 비용과 운영 (Run) 비용을 두 개의 별도이고 정직한 수치로 제시하십시오. 하나의 낙관적인 수치로 뭉뚱그리는 것은 신뢰를 깨뜨리는 지름길입니다.

FAQ

토큰 가격이 내려가는데 왜 AI 청구 금액은 올라가나요? 훨씬 더 많은 토큰을 사용하고 있기 때문입니다. 에이전트가 재시도 및 루핑을 반복하고, 컨텍스트 윈도우 (Context window)가 커지며, 사용량이 도입 규모에 따라 확장됩니다. 사용량이 토큰당 할인율을 압도합니다.

AI 시스템의 적절한 유지보수 예산은 얼마인가요? 일반적인 가이드라인은 연간 구축 비용의 15~25%이며, 여기에 통합 작업에 대한 버퍼를 추가하는 것입니다. 정확한 수치는 해당 시스템이 얼마나 많은 시스템과 연결되어 있는지, 그리고 그 시스템들이 얼마나 빠르게 변하는지에 따라 달라집니다.

통제 불능의 토큰 비용을 어떻게 방지할 수 있나요? 출시 전에 실제 규모에서의 모델 사용량을 측정하고, 첫날부터 비용 모니터링 및 알림을 설정하며, 가능한 경우 에이전트의 재시도 횟수와 컨텍스트를 제한하십시오. 조기에 가시성을 확보하는 것이 예상치 못한 비용 발생을 방지하는 길입니다.

AI 프로젝트의 예산을 세우고 있는데 페이지에 적힌 숫자가 구축 비용뿐이라면, 그것이 바로 6개월 뒤에 타격을 줄 격차입니다. Shanti Infosoft 팀은 귀하가 확정하기 전에 정직한 '구축 및 운영 통합 예산'을 세울 수 있도록 도와드릴 수 있습니다.