사용자당 LLM (Large Language Model) 비용은 제공업체의 대시보드에 표시된 금액이 아닙니다. 그것은 월말에 청구된 인보이스(invoice)를 실제로 유용한 작업을 완료한 사람 수로 나눈 값입니다. 모든 이들이 토큰 가격표를 공개하지만, 대규모로 출시된 소비자용 AI 제품이 사용자당 실제로 얼마의 비용이 드는지는 아무도 공개하지 않습니다.

우리는 공개할 수 있습니다. 우리가 구축한 프랑스어 진로 지도 플랫폼인 Parcoursup Zen (/work/parcoursup-zen)의 실제 수치는 다음과 같습니다: 첫 시즌에 온보딩된 12,000명 이상의 학생을 대상으로, 학생 1인당 평균 AI 비용은 4유로 미만입니다.

이것은 단 한 번의 호출(call)이 아니라 학생 1인당 발생하는 전체 파이프라인(pipeline) 비용입니다. 여기에는 23,000개 이상의 프로그램 코퍼스(corpus)를 대상으로 한 프로필-전공 매칭, 마감일 추적, 자기소개서 초안 작성, 그리고 진로 상담 챗봇까지 모든 것이 포함됩니다. 그리고 이 수치는 규모의 경제나 운 좋게 선택한 모델 덕분에 얻어진 우연이 아닙니다. 이것은 아키텍처(architecture)의 결과물입니다.

실제로 중요한 수치: 사용자당 LLM 비용

단순한 토큰당 비용은 당신의 제품이 생존 가능한지 여부에 대해 아무것도 알려주지 않습니다. 질문은 당신이 '완료된 여정(completed journey)'을 위해 얼마를 지불하느냐입니다.

87%의 완료율은 허영을 위한 수치가 아니라 경제적인 수치입니다. 중단된 세션은 가장 비용이 적게 드는 세션입니다. 만약 세션당 비용을 최적화한다면, 당신은 실패를 최적화하고 있는 것입니다. 우리가 측정했고, AI 기능을 출시하는 모든 팀이 측정해야 하는 것은 '완료된' 여정당 비용입니다. 그것이 바로 4유로로 구매하는 가치입니다.

이 수치를 만들어낸 스택(stack)은 특별하지 않습니다: Next.js, 오케스트레이션(orchestration)을 위한 LangChain 및 LangGraph, OpenAI 모델, 그리고 유료 티어를 위한 Stripe를 사용했습니다. 커스텀 추론(inference) 클러스터에서 파인튜닝(fine-tuned)된 오픈 소스 모델을 사용하지 않았습니다. 비용 제어는 모델 선택에서 오는 것이 아니라, 흐름 설계(flow design)에서 옵니다 (AI 서비스 및 아키텍처).

제한된 흐름(Bounded Flow)이 마진 절벽을 피하는 이유

AI-SaaS 분야에서 발표된 가이드라인들은 동일한 위험 지점을 지속적으로 경고하고 있습니다. 즉, 정액제(flat-rate plan) 모델에서는 소수의 헤비 유저(power users)가 추론(inference) 비용의 대부분을 발생시킨다는 점입니다. 상위 12%의 사용자가 전체 LLM 비용의 4050%를 차지하는 경우가 빈번합니다. 이러한 꼬리 부분(tail)의 사용자들은 유닛 이코노믹스(unit economics)를 매달 예측 불가능하게 만들며, 성장을 마진(margin) 문제로 변질시킵니다.

구조화되고 안내된 흐름(structured, guided flow)은 바로 그 꼬리 부분을 피할 수 있는 정확한 형태입니다. Parcoursup Zen은 계절성이 있고 범위가 정해져 있습니다. 학생은 23,000개 이상의 교육 과정(formations)이라는 제한된 코퍼스(corpus) 내에서 정해진 단계들을 거치게 됩니다. 헤비 유저가 수백 개의 에이전트 토론을 연쇄적으로 실행하여 단 한 번의 세션에 3유로를 태워버릴 수 있는 개방형 프롬프트 박스는 존재하지 않습니다. 아키텍처(architecture)가 사용자당 비용 상한선(cost ceiling)을 강제하며, 이 상한선 덕분에 코호트(cohort) 전체에서 4유로 미만이라는 수치가 안정적으로 유지됩니다.

이는 모든 제품에 적용되는 일반화된 결론은 아닙니다. 4유로라는 수치를 가져와 본인의 모델에 그대로 대입하지 마십시오. 전이 가능한 교훈은 바로 그 '방법론(method)'입니다:

1. 흐름을 개방형이 아닌 제한된 형태(bounded)로 설계하십시오.
2. API 호출당 비용이 아닌, 완료된 여정(completed journey)당 비용을 측정하십시오.
3. 비용이 많이 드는 인간 검토(human-reviewed) 티어는 모든 사용자의 요금제에 평균화하여 포함하는 대신 별도로 가격을 책정하십시오.

예산 스프레드시트가 포착하지 못하는 숨겨진 비용 항목

모든 프롬프트 변경은 평가 스위트(eval suite)를 통과하기 전까지는 부채(liability)입니다. Parcoursup Zen의 경우, 해당 스위트는 240개의 케이스로 구성되며 모든 프롬프트 업데이트를 통제(gate)합니다. 이러한 통제 과정에서 발생하는 비용은 실재하며, AI 기능 예산에서 자주 누락되곤 합니다:

• 평가 실행 자체에 드는 추론 비용(Inference cost). 모든 프롬프트 후보군은 240개의 시나리오에 대해 실행됩니다. 이는 사용자에게 보여지는 출력물 없이 발생하는 토큰 소모입니다.
• 케이스 큐레이션을 위한 인간의 시간. 240개의 케이스는 자동으로 생성되지 않습니다. 이 케이스들은 프랑스의 고교 졸업 후 진로(post-bac orientation)를 이해하는 전문가에 의해 구축, 검토 및 유지 관리되었습니다. 이는 일회성 설정이 아닌 반복적인 운영 비용(operational cost)입니다.

그 보상은 "더 저렴한 프롬프트"가 추천 품질을 조용히 저하시킬 수 없다는 점입니다. 평가 게이트 (eval gate)가 없다면, 비용 최적화 (cost-optimisation)는 평범함으로의 표류가 됩니다. 평가 게이트가 있다면, 모든 변경 사항에 대해 알려진 고정된 QA 세금을 지불하게 되며, 그 세금이 바로 4.8★ 평점을 보호하는 것입니다.

마진 문제를 해결하는 상업적 구조

Parcoursup Zen의 프리미엄 티어는 AI 기능 마진 질문에 대한 실제적인 해답입니다. 학생당 예측 가능한 4€ 미만의 비용이 발생하는 무료 AI 가이드 티어가 있습니다. 이와 별개로, 그 확신을 원하는 학부모들을 위해 사람이 결과물을 검토하는 유료 티어가 존재합니다 (Parcoursup Zen 사례 연구).

이것은 새로운 상업적 구조는 아니지만, AI 기능에는 적합한 구조입니다. AI 비용은 낮고, 고정되어 있으며, 사용자당 상한선이 정해져 있으므로 무료 티어의 단위 경제성 (unit economics)을 사전에 알 수 있습니다. 비용이 많이 드는 부분인 인간의 검토는 모든 사용자의 요금제에 분할 상환 (amortised)되는 대신 별도로 가격이 책정됩니다. 대부분의 AI 기능은 가변 비용 (variable cost)을 묶어서 제공하고 사용량이 낮기를 기도하기 때문에 마진의 벽에 부딪힙니다. 고비용 티어를 분리 (unbundling)하는 것이 해결책입니다.

자신의 AI 기능에 가격을 책정하고 있다면, 먼저 무료 LLM API 가격 계산기를 사용하여 예상 볼륨에서의 호출당 비용을 모델링하십시오. 그런 다음 평균이 아닌 최악의 경우의 흐름 길이를 곱하십시오. 그것이 당신의 상한선입니다. 그다음, 당신의 가격 책정이 모든 사용자에 대해 그 상한선을 충당하는지 질문하십시오. 만약 그렇지 않다면, 그것은 AI 문제가 아니라 패키징 (packaging) 문제입니다.

FAQ

사용자당 LLM 비용을 정확하게 측정하는 방법은 무엇인가요?

모든 LLM 호출에 사용자 ID, 기능, 워크플로 (workflow)를 태깅하십시오. 중요한 지표는 청구 기간 동안 사용자당 총 LLM 지출액을 단순히 로그인한 사용자가 아닌, 핵심 액션을 완료한 사용자 수로 나눈 값입니다. 제공업체의 대시보드는 총 지출액을 보여주지만, 사용자당 분포나 p95 꼬리 (p95 tail) 값은 보여주지 않습니다.

사용자당 4€가 AI 기능의 좋은 벤치마크인가요?

아니요. 그것은 특정 제품 형태—계절성, 구조화됨, 가이드됨, 제한된 코퍼스(bounded corpus), 프랑스어 기반—에서 나온 실제 수치입니다. 입력이 제한되지 않은 범용 챗봇(general-purpose chatbot)은 이와 전혀 다를 것입니다. 벤치마크는 숫자가 아닙니다. 플로우 설계(flow design)를 통해 사용자당 비용을 제한하고, 완료된 여정(completed journey)당 비용을 측정하는 방법론이 핵심입니다.

AI 기능의 가격을 책정할 때 가장 큰 실수는 무엇인가요?

비용이 많이 드는 인간 검토(human review)를 정액제 요금제(flat-rate plan)에 묶어버리는 것입니다. 이를 필요로 하는 소수의 사용자가 다른 모든 사용자를 위한 단위 경제성(unit economics)을 망가뜨릴 것입니다. Parcoursup Zen이 부모 검토 옵션(parent-reviewed option)을 사용하는 것처럼, 비용이 많이 드는 티어는 별도로 가격을 책정하세요. 그렇게 해야 AI 티어의 마진을 예측 가능하게 유지할 수 있으며, 프리미엄 티어가 자체 비용을 감당할 수 있게 됩니다.

우리와 함께 구축을 시작하세요