저희에게 고객 서비스 챗봇을 요청하는 모든 클라이언트가 똑같은 후속 질문을 합니다. 바로 “실제 운영하게 되면 매달 얼마가 들까요?”라는 질문입니다. 이에 대한 정직한 답변은 챗봇의 코드를 한 줄도 작성하기 전에 추정할 수 있는 네 가지 숫자에 달려 있습니다. 이 게시물에서는 그 네 가지 숫자를 작은 Python 계산기로 만들어 노트나 가격 책정 스프레드시트 내보내기 기능에 바로 사용할 수 있도록 합니다.
이 내용은 AI 모델 비용만을 다룹니다. 호스팅, 벡터 스토어(vector store), 로깅, 그리고 봇을 유지 관리하는 인력은 제외하며, 이 부분들은 나중에 다루겠습니다.
비용을 결정하는 네 가지 숫자
- 월별 대화 건수 (Conversations per month). 추측이 아닌, 고객 지원 데스크(help desk)나 라이브 채팅 기록에서 가져와야 합니다.
- 대화당 메시지 수 (Messages per conversation). 대부분의 지원 채팅은 사용자 턴(user turns)이 3~6회입니다. 각 턴은 별도의 모델 호출을 의미합니다.
- 호출당 입력 토큰 수 (Input tokens per call). 이것이 가장 중요합니다. 왜냐하면 모든 호출에서 시스템 프롬프트, 검색된 도움말 콘텐츠(retrieved help content), 그리고 지금까지의 대화 내용 전체를 다시 전송하기 때문입니다. 일반적인 검색 증강 지원 봇(retrieval-augmented support bot)은 호출당 2,000개에서 6,000개의 토큰을 전송합니다.
- 호출당 출력 토큰 수 (Output tokens per call). 지원 답변은 짧습니다: 150개에서 400개 사이의 토큰입니다.
토큰은 대략 영어 단어의 3/4에 해당하므로, 4,000개의 토큰은 약 3,000단어 분량의 문맥을 의미합니다.
계산기
# token_bill.py: rough monthly LLM cost for a support chatbot
from dataclasses import dataclass
...
월 5,000건의 대화, 각 대화당 4턴, 입력 4,000 토큰 및 출력 300 토큰으로 실행한 결과:
cached share of input: 0%
GPT-6 Luna $ 11.00 / month
GPT-6.1 Sol $ 220.00 / month
...
두 가지 점이 눈에 띕니다. 첫째, 모델 선택이 비용을 최대 20배까지 변화시킵니다. 둘째, 입력 토큰이 지배적입니다: 출력 토큰 6백만 개 대비 입력 토큰 8천만 개가 사용됩니다. 바로 이 부분에서 최적화가 큰 효과를 발휘합니다.
캐시된 행에 대한 주의사항: 제공업체들은 캐시 쓰기(cache writes)와 캐시 읽기(cache reads) 비용을 다르게 책정하며, 실제로 얻게 되는 캐시 공유 비율은 프롬프트 시작 부분이 얼마나 안정적인지에 달려 있습니다. 50%는 약한 최적의 시나리오일 뿐, 보장된 수치가 아닙니다. 또한 Anthropic은 Haiku 5.5 모델에서 토큰이 100,000개를 초과하는 프롬프트에 대해 더 많은 비용을 청구하는데, 이는 지원 챗봇이 도달해서는 안 되는 수준입니다.
입력 토큰의 출처와 절감 방법
실제 호출을 하나 기록하고 그 구성 요소를 세어보세요. 우리가 검토하는 대부분의 챗봇은 대략 다음과 같이 분할됩니다:
- 시스템 프롬프트 및 규칙: 600–1,500 토큰. 호출 간에 안정적이므로 프롬프트 캐싱(prompt caching)에 이상적인 후보입니다. 프롬프트의 가장 처음에 배치해야 합니다.
- 검색된 구절 (Retrieved passages): 1,500–4,000 토큰. '안전을 위해' 긴 청크를 8개 가져오는 것이 가장 흔한 낭비 요소입니다. 대신 더 짧은 청크 3~4개를 시도하고, 회귀 테스트 세트(regression set)에서 답변 품질을 비교해 보세요.
- 대화 기록 (Conversation history): 매 턴마다 증가합니다. 세 번째나 네 번째 메시지 이후에는 이전 대화를 요약하거나 잘라내야 합니다.
난이도별 라우팅
대부분의 지원 문의(
그리고 대안과 솔직하게 비교하세요. Intercom 같은 해결 건당(per-resolution) 도구는 결과 건당 $0.99를 책정하며, 이는 3,000건의 해결된 대화 기준으로 월 약 $2,970입니다. 하지만 구축하거나 유지보수할 필요가 없습니다. 트래픽이 적을 때는 종종 더 나은 거래입니다.
자주 묻는 질문 (FAQ)
챗봇 운영의 주요 비용이 토큰 비용인가요?
일반적으로 적은 트래픽에서는 그렇지 않습니다. 효율적인 모델을 사용한다면, 사람들의 시간(콘텐츠 업데이트, 검토 및 수정)이 토큰보다 더 많은 비용을 차지합니다.
호출당 토큰을 정확하게 측정하는 방법은 무엇인가요?
OpenAI와 Anthropic 모두 모든 API 응답과 함께 토큰 사용량을 반환합니다. 실제 트래픽 또는 재생된 트래픽 데이터를 일주일 동안 기록하고, 추측이 아닌 중앙값(median)을 사용하세요.
항상 가장 저렴한 모델을 사용해야 하나요?
아닙니다. 회귀 테스트 세트(regression test set)를 통과하는 가장 저렴한 모델을 사용하고, 어려운 질문은 더 큰(더 강력한) 모델로 연결하세요.
지원 챗봇을 기획 중이고 수치에 대한 두 번째 검토가 필요하다면, 저희 AI 챗봇 개발팀이 미국(USA), 영국(UK), 캐나다, 호주 기업들을 위해 구축해 드립니다.
가격은 OpenAI 및 Anthropic의 가격 페이지와 Intercom의 가격 페이지를 기준으로 하며, 2026년 11월 17일에 확인된 정보입니다.