토큰 비용 때문에 SaaS 종말은 일어나지 않을 것입니다 / 좋은 개발 도구는 에이전트를 위한 캐시된 지능입니다!

토큰 비용 때문에 SaaS 종말은 일어나지 않을 것입니다 / 좋은 개발 도구는 에이전트를 위한 캐시된 지능입니다!

대중적인 이론은 이렇습니다: 에이전트(agents)는 코드를 작성할 수 있으므로, 모든 도구를 처음부터 다시 구축하고 로우 API(raw APIs)를 직접 호출할 것이라는 점입니다. 더 이상 개발 도구도, CLI도, 소프트웨어 계층도 필요 없게 될 것입니다. 오직 에이전트와 엔드포인트(endpoints)만 남게 될 것이라고 말이죠!

우리는 이를 방금 테스트했으며, 데이터는 그 반대를 말하고 있습니다. 우리는 Claude Code와 Codex를 대상으로 실제 Hugging Face Hub 작업(~1,000회의 채점된 실행)에 대해 두 가지 설정으로 벤치마크를 수행했습니다: 에이전트에 최적화된 hf CLI 방식 vs 에이전트가 curl이나 SDK 호출을 처음부터 직접 구현(hand-rolling)하는 방식.

직접 구현하는 방식은 다단계 작업에서 최대 6배 더 많은 토큰을 소모하며, 더 자주 실패합니다 (작업 성공률 84% vs 94%).

그리고 이것은 단지 하나의 추상화 계층(abstraction layer)을 제거했을 때의 결과일 뿐입니다. 만약 에이전트가 HF를 완전히 우회하여 모델 호스팅, 버전 관리, 배포를 처음부터 다시 구축하려고 시도한다면, 토큰 소모량은 수십 배 더 많아질 것이며 실패율도 극적으로 높아질 것이 분명합니다. 에이전트가 로우 API 호출로부터 워크플로우를 매번 다시 도출할 때마다, 당신은 매 실행마다 그 추론(reasoning)에 대한 비용을 토큰으로 지불하게 됩니다. 좋은 CLI는 그 전체 체인을 에이전트가 실수할 수 없는 몇 개의 상위 수준 명령어로 압축합니다.

모두가 토큰이 너무 비싸다고 불평하는 세상에서, 추상화는 레버리지(leverage)입니다. 즉, 에이전트가 추론(inference) 시점에 다시 고민할 필요가 없는 수천 시간의 설계 결정입니다.

좋은 도구는 에이전트를 위한 캐시된 지능(cached intelligence)입니다!

따라서 아니요, 에이전트는 모든 것을 처음부터 다시 구축하지 않을 것입니다. 그들은 가장 토큰 효율적인 도구로 모여들 것입니다. 왜냐하면 그것이 그들의 소유자가 지불하는 비용이기 때문입니다. 살아남는 소프트웨어는 단순히 에이전트가 접근할 수 있는 수준을 넘어, 에이전트가 구동하기에 정확하고 저렴해야 합니다.

우리는 HF에서 이 현상이 일어나는 것을 보고 있으며, HF는 에이전트가 AI를 사용하는 플랫폼이 되고 있습니다: 단 두 달 만에 약 4,900만 건의 요청이 발생했으며, 빠르게 성장하고 있습니다!

[IMG:1]