아무도 예산에 반영하지 않는 토큰 세금 — 그리고 왜 이것이 빠듯한 예산에 더 큰 타격을 주는가

AI 에이전트(AI agents)에 관한 대부분의 글은 프롬프트(prompts), 도구(tools), 그리고 평가(evals)에 관한 것입니다. 실제 배포 환경을 조용히 지배하는 항목에 대해 다루는 글은 거의 없습니다. 바로 **매 턴마다 지불해야 하는 컨텍스트 토큰(context tokens)**입니다.

그 메커니즘은 다음과 같습니다. 전형적인 에이전트 루프(agent loop)는 모델이 지금까지 일어난 일을 "기억"할 수 있도록 매 단계마다 지금까지의 대화 전체를 다시 전송합니다. 턴 1에서는 아주 조금을 보냅니다. 턴 20에서는 1~19턴까지의 모든 내용을 다시 보냅니다. 세션 전체를 놓고 보면, 입력 토큰(input-token) 비용은 수행된 작업량에 따라 증가하는 것이 아니라, 턴 수에 따라 대략 **O(N²)**로 증가합니다.

예산이 넉넉하다면 전혀 눈치채지 못할 수도 있습니다. 하지만 나이로비의 1인 개발자나 라고스 또는 아크라의 소규모 팀처럼 모든 토큰을 실제 통화로 지불해야 하는 상황이라면, 첫날부터 바로 체감하게 됩니다. 청구서는 작업의 가치가 아니라 작업의 길이를 따라가기 때문입니다. 오후 내내 실행되는 작업 하나가 그 작업으로 구현된 기능보다 더 많은 비용을 발생시킬 수 있으며, 수천 명의 사용자를 위해 해당 루프를 실행해야 하는 제품은 모든 사용자에게 동일한 낭비를 배가시킵니다.

누구도 믿기 전에 — 이 포스트를 포함하여 — 직접 측정하십시오

정확히 이것을 측정하는 공개된 오프라인 벤치마크(benchmark)가 있습니다. 이 벤치마크는 세 번의 세션에 걸친 현실적인 코딩 어시스턴트(coding-assistant) 세션을 모델링하며, 두 가지 전략에 따른 입력/컨텍스트 토큰을 계산합니다. 즉, 매 턴 전체 기록을 다시 보내는 방식과 매 턴 작고 제한된 메모리 셀(memory cells) 세트를 회상(recalling)하는 방식입니다:

git clone https://github.com/citw2/saihm-token-benchmark
cd saihm-token-benchmark && npm install
node benchmark.mjs

이 벤치마크는 API 키 없이 완전히 오프라인으로 실행되며, gpt-tokenizer (cl100k_base)를 사용하여 토큰화합니다. 번들링된 시나리오에서 제한된 회상(bounded recall)을 사용할 경우 컨텍스트 토큰이 62.8%~85.9% 더 적게 발생한다고 보고하며, 세션이 길어질수록 그 격차는 더 벌어집니다. --recall-cap을 변경하며 트레이드오프(trade-off)가 어떻게 변하는지 관찰해 보십시오. 핵심은 헤드라인 수치가 아닙니다. 벤더(vendor)의 말을 그대로 믿는 대신, 여러분의 세션에서 직접 이를 재현할 수 있다는 점입니다.

해결책: 전체 기록을 재생하지 말고, 제한된 세트를 회상하십시오

비싼 습관은 대화 전체를 에이전트의 메모리 (Memory)로 취급하는 것입니다. 더 저렴한 설계는 결정 사항, 컨벤션 (Conventions), 파일 경로 등 나중에 실제로 필요한 지속적인 사실들을 별도의 메모리 셀 (Memory cells)로 유지하고, 매 턴마다 제한된 캡 (Cap) 내의 작은 세트만 회상 (Recall)하는 것입니다. 이렇게 하면 이차 함수적으로 증가하는 재전송 비용이 대략 **O(N · cap)**으로 변합니다. 즉, 비용이 대화 기록의 길이에 따라 늘어나는 것이 아니라 작업량에 따라 늘어나게 됩니다.

이것이 바로 모든 MCP (Model Context Protocol) 지원 AI 클라이언트가 호출할 수 있는 주권적 메모리 계층 (Sovereign memory layer)인 SAIHM의 핵심 아이디어입니다. 지속적인 사실들은 사용자가 키를 보유한 암호화된 셀 (Encrypted cells)로 존재하며, 매 턴마다 전체 기록을 재생하는 대신 제한된 작업 세트 (Working set)를 가져옵니다. 메모리가 개방형 프로토콜을 통해 주소 지정되기 때문에, Claude, GPT, DeepSeek, Qwen, Kimi 또는 GLM을 호출하든 상관없이 동일한 저장소를 사용할 수 있습니다. 이는 토큰당 비용 (Price-per-token)을 낮추기 위해 모델을 교체할 때 매우 유용하며, 빠듯한 예산 상황에서는 모델을 교체하게 될 것입니다.

왜 예산이 빠듯한 경우가 가장 강력한 사례인가

실제 통화로 지불되는 API 비용 문제와 싸우는 개발자들에게는 두 가지 요소가 복합적으로 작용합니다:

• 모든 토큰은 외환 (FX)입니다. 긴 세션에서 컨텍스트 토큰 (Context tokens)을 70~85% 절감하는 것은, 청구서가 여러분의 수익 통화와 다른 통화로 청구될 때 단순한 반올림 오차 수준의 문제가 아닙니다.
• 여러분은 종종 낮은 마진을 바탕으로 확장성 (Scale)을 위해 구축하고 있습니다. 다음 10억 명의 사용자는 상호작용당 실행 비용이 저렴해야 하는 에이전트를 통해 온라인에 접속하게 될 것입니다. 사용자당, 매 턴마다 대화 기록을 다시 전송하는 것은 저렴함과는 거리가 먼 방식입니다.

메모리를 더 저렴하게 만드는 동일한 특성은 메모리를 이식 가능하고 삭제 가능하게도 만듭니다. 사용자가 키를 보유하며, 삭제 시 해당 키를 파괴하고 이를 퍼블릭 체인 (Public chain)에서 증명할 수 있고, 단일 기록을 다른 에이전트와 공유한 뒤 이를 취소 (Revoke)할 수도 있습니다. 하지만 예산 문제는 그 자체로도 충분한 명분이 됩니다. O(N²) 곡선을 평탄화하기만 하면 나머지는 모두 이득입니다.

비용 지불 없이 직접 확인해 보세요

위의 벤치마크가 하나의 자산이라면, 실행 가능한 데모는 또 다른 자산입니다. 데모를 통해 모든 주요 모델에서 여러분이 소유한 메모리를 기반으로 작업할 수 있으며, 이를 삭제할 수 있음을 증명할 수 있습니다. 각 데모는 계정 생성 없이 약 1분 내외로 오프라인에서 실행 가능합니다.

• 데모 (Demos): https://citw2.github.io/saihm-demos/
• 벤치마크 (Benchmark): https://github.com/citw2/saihm-token-benchmark

SAIHM 자체는 무료 티어 (free tier)가 없는 유료 제품입니다. 이는 체험판 뒤에 숨겨두는 대신 사전에 명시되어 있습니다. 하지만 벤치마크와 데모는 오픈 소스 (open source)이며 로컬 (locally)에서 실행되므로, 결정을 내리기 전에 해당 주장을 검증하고 통합 (integration)을 시도해 볼 수 있습니다.

독립성 고지 (Independence notice): SAIHM은 독립적으로 작성된 Apache-2.0 프로토콜입니다. OpenAI, Anthropic, Google 또는 기타 AI 클라이언트 벤더 (vendor)와 관련이 없습니다. 벤치마크는 오픈 소스이며 오프라인에서 재현 가능합니다. 수치는 공개된 스크립트에 의해 생성되며 세션 길이와 시나리오에 따라 달라집니다.