AI는 자신이 소비하는 토큰을 의식하고 있는가

현대의 AI 청구서가 기묘한 이유는 숫자는 매우 정확해 보이는데, 그 이면에서 일어난 작업은 상당히 보이지 않기 때문이다. 사용자가 짧은 요청을 입력한다. 모델은 긴 내부 경로를 거치고, 도구(Tool)가 호출되며, 문맥(Context)이 읽히고, 일부 텍스트는 캐시(Cache)에서 재사용될 수도 있다. 그리고 최종 답변은 하나의 정돈된 사건처럼 도착한다. 나중에 청구서는 그 사건을 토큰(Token)으로 설명한다. 입력 토큰, 캐시된 입력 토큰, 출력 토큰, 추론 토큰, 긴 문맥 토큰. 측정의 언어는 정돈되어 있다. 측정되는 행동은 훨씬 더 복잡하다.

그래서 이 질문은 중요하다. AI는 토큰 소비를 의식하고 있는가. 실무적인 답은 거의 확실하게 부정적이다. 모델에게 짧게 대답하도록 요청할 수는 있다. 간결한 형식을 선택하게 하거나, 문맥을 요약하게 하거나, 예산에 도달하면 멈추게 할 수도 있다. 하지만 그것은 경제적인 자기 인식과는 별개의 행동 반응이다. 모델은 지시에 따라 텍스트를 예측하고 있다. 계량 시스템은 모델 주변에 있다. 토큰 계산, 캐시, 라우팅(Routing), 속도 제한(Rate limiting), 과금은 인간이 만든 프로덕트 계층(Product layer)과 인프라 계층(Infrastructure layer)이다. 모델은 토큰 절약에 대해 말할 수 있지만, 무엇이 소비되었고 얼마가 들었는지를 결정하는 것은 시스템이다.

이 괴리가 토큰 경제학을 AI에서 가장 눈에 띄지 않으면서도 가장 중요한 영역 중 하나로 만들었다. 제1파에서는 모델 품질에 주목이 모였다. 제2파에서는 에이전트(Agent), 문맥 창(Context window), 음성, 영상, 멀티모달(Multimodal) 워크플로우로 관심이 옮겨갔다. 지금 많은 팀에게 결정적인 질문은 더 단순하다. 제품이 예측 가능한 단위 비용으로 유용한 지능을 전달할 수 있는가 하는 점이다.

AI 벤더(Vendor)에게 토큰은 능력과 매출총이익(Gross margin)을 잇는 가교이다. 출력 토큰은 통상 입력 토큰보다 비싸다. 생성은 계산 부하가 크고 지연(Latency)에도 민감하기 때문이다. 긴 추론은 품질을 높일 수 있지만, 보이지 않는 계산을 보이는 비용으로 바꾼다. 캐시된 입력은 식을 더욱 변화시킨다. 반복해서 사용하는 문맥을 재사용할 수 있다면, 벤더는 비용과 지연을 낮추면서 고객을 동일한 기반에 머물게 할 수 있다. 그래서 가격표는 신규 입력과 캐시된 입력을 구분하게 되었고, 프롬프트 캐시(Prompt cache)는 작은 최적화가 아니라 핵심적인 설계 기능이 되었다.

클라우드 사업자에게 토큰은 새로운 워크로드(Workload) 단위가 되어가고 있다. 전통적인 클라우드 경제는 가상 머신, 스토리지, 대역폭, 데이터베이스 조작을 중심으로 만들어졌다. AI 추론은 그곳에 더욱 변동성이 큰 미터(Meter)를 추가한다. 어떤 고객의 요청은 작다. 다른 요청은 큰 문서, 긴 대화, 도구 결과, 상세한 답변을 포함할 수 있다. GPU 공급, 배치 처리(Batch processing), 메모리 대역폭, 모델 크기, 양자화(Quantization), 서빙 소프트웨어가 백만 토큰당 비용을 좌우한다. 클라우드 기반은 용량을 팔고 싶어 하지만, 고객은 더 구체적인 것을 요구하기 시작했다. 전달된 지능에 대한 신뢰할 수 있는 가격 말이다.

법인 고객에게 토큰 경제학은 예산의 문제인 동시에 프로덕트 설계의 문제이기도 하다. 매번 모든 고객 이력을 읽는 지원 챗봇은 금방 고비용이 된다. 모든 파일, 도구 결과, 과거 메시지를 문맥에 유지하는 코딩 에이전트는 데모에서는 마법처럼 보이지만, 실제 운영(Production)에서는 고통이 될 수 있다. 긴 보고서를 만드는 리서치 어시스턴트는 가치를 창출한다. 단, 조직이 얼마나 많은 문맥을 사용하고, 얼마나 많은 추론을 실행하며, 동일한 자료를 얼마나 캐시로 재사용했는지를 이해하고 있을 때에 한해서다.

뛰어난 기업 팀은 토큰을 재고처럼 다루기 시작하고 있다. 어떤 문맥이 필수적인가. 어떤 문맥은 필요할 때만 검색하면 되는가. 어떤 지시는 캐시할 수 있을 만큼 안정적인가. 어떤 작업에는 강력한 모델을 사용할 가치가 있는가. 그들은 워크플フロー, 부문, 고객, 성과별 비용을 보여주는 대시보드를 만든다. 좁은 작업에는 작은 모델을 시도하고, 판단이 중요한 작업에는 최첨단 모델을 남겨둔다. 또한 모든 요청을 깊은 조사처럼 다루는 것이 아니라, 깊이가 필요한 상황에서 사람이 깊이를 선택할 수 있는 경험으로 재설계한다.

소비자에게 토큰 경제학은 보통 구독(Subscription)과 이용 한도 뒤에 숨겨져 있다. 그럼에도 중요성은 남아 있다. 채팅 제품이 느려질 때, 이미지 생성이 제한될 때, 음성 모드에 상한이 걸릴 때, 긴 대화에서 새로 시작할 것을 권유받을 때, 그 근처에는 종종 토큰 경제학이 있다. 소비자는 그것을 마찰(Friction)로 느낀다. 제공자는 그것을 매출총이익에 대한 압박으로 경험한다. 모델은 그것을 의식적인 걱정으로 경험하지 않는다.

여기서 의식(Consciousness)이라는 질문은 유용하다. 모델을 의식 있는 작업자로 상상하면, 예산을 확인하는 직원처럼 비용을 관리하기를 기대하게 된다. 하지만 그 기대는 실망으로 이어진다. 더 정확한 사고방식은, 강력한 엔진이 계기판, 제어 장치, 캐시(Cache), 가격 규칙에 연결되어 있다고 보는 것이다. 엔진은 간결함이나 구조에 관한 지시를 따를 수 있다. 돈을 관리해야 하는 것은 주변 시스템이다.

진정한 기회는 그 주변 시스템을 잘 설계하는 데 있다. 유용한 AI 제품은 언제 문맥(Context)을 압축할지, 언제 새로운 근거를 가져올지, 언제 확인 질문을 할지, 언제 작은 모델을 사용할지, 언제 생성을 멈출지, 언제 풍부한 답변이 추가 비용만큼의 가치가 있는지를 판단해야 한다. 이 과제는 아키텍처(Architecture)의 영역에 속한다. 지속적인 우위 또한 여기서 발생한다.

실제 워크플로우(Workflow)는 이미 이 형태를 보여주고 있다. 연구자들은 ChatGPT나 Gemini로 분석 초안을 작성하고, 수식이나 수식 이미지를 깔끔하고 편집 가능한 수식으로 바꿔야 할 때 Miss Formula를 사용할 수 있다. AI가 생성한 도표나 논문 그림을 출판물이나 슬라이드로 옮길 때, Editable Figure는 AI가 생성한 논문 그림을 편집 가능한 벡터(Vector) 형식으로 변환할 수 있다. 강력한 워크플로우는 의도를 가지고 토큰(Token)을 사용하며, 각 토큰을 재사용 가능한 결과물로 바꾼다.

이것이 토큰 경제학(Token Economics)의 핵심이다. 토큰은 과금 단위인 동시에 설계 압력(Design Pressure)이기도 하다. 토큰은 AI 벤더에게는 추론 효율성으로 경쟁할 것을 요구하고, 클라우드 사업자에게는 더 명확한 비용 모델을 제시할 것을 요구하며, 기업에게는 워크플로우별 가치를 측정할 것을 요구하고, 소비자에게는 풍부함의 한계를 깨닫게 한다. AI는 자신이 토큰을 태우고 있다는 사실을 모를 수도 있다. AI 주변에 제품을 만드는 팀은 그 사실을 잘 이해해야 한다.