AI 에이전트의 토큰 비용을 절약하는 Netflix 엔지니어가 만든 도구 「Headroom」에 대해 조사해 보았다

Claude Code 등의 AI 에이전트를 일상적으로 사용하다 보면, 순식간에 제한에 걸리는 경우가 있지 않나요?

Netflix의 시니어 엔지니어가 오픈 소스(Open Source)로 출시한 "Headroom"이라는 토큰 절감 도구가, 며칠 만에 5k stars · 400 forks를 넘어서며 화제가 되고 있습니다.

참고로 공식 벤치마크(Benchmark)에 따르면, 빌드 로그(Build log)라면 93.9%, JSON이라면 90.6%의 토큰 절감을 달성했습니다 (단, 실제 운용 시의 중앙값은 4.8%이며, 이 수치의 격차에 대해서는 후술하겠습니다).

Headroom 리포지토리: https://github.com/chopratejas/headroom

• Headroom은 AI 에이전트에게 보내는 컨텍스트(Context)를 압축하여 토큰 소비를 줄이는 OSS
• JSON · DB 결과 · 로그에서는 큰 효과를 기대할 수 있음
• 소스 코드에서 설계서를 생성하거나, 설계서에서 코드를 생성하는 등의 코드 중심 워크플로우(Workflow)에서는 효과가 제한적임

Claude Code 등의 AI 에이전트가 왜 비용이 많이 드는지 조금 조사해 보니 의외의 사실이 있었습니다.

비용의 주범은 "출력 토큰(Output Token)"이 아니라 **"입력 토큰(Input Token)"**입니다.

AI 에이전트는 대화문뿐만 아니라, 다음과 같은 것들을 차례차례 컨텍스트에 쌓아 올립니다.

• 데이터베이스(Database) 쿼리 결과 (500행 등이 평범하게 반환됨)
• 빌드 로그(Build log)나 에러 로그(Error log)
• API의 응답 JSON
• RAG로 가져온 문서의 파편
• 파일 트리(File tree)

그리고 이러한 것들의 대부분은 인간이라면 순식간에 구조를 읽고 지나칠 수 있는 반복적인 데이터입니다.

하지만 LLM은 그것을 전부 읽습니다. 전부 과금됩니다.

Headroom을 만든 Tejas Chopra 씨 자신도, 통상적인 개발 작업에서 Claude Code의 월 사용료가 287달러에 달했고, 내역을 조사해 보니 불필요한 DB 행이나 중첩된 JSON이 대량으로 컨텍스트를 채우고 있었다는 사실을 깨달았다고 합니다. Headroom 도입 후에는 약 110달러까지 내려갔다고 보고했습니다 (자기 신고 수치이므로 참고 값으로만 활용하십시오).

한 마디로 요약하자면, **LLM에 데이터가 도달하기 전에 컨텍스트를 압축하는 레이어(Layer)**입니다.

"요약"과는 다릅니다. 중요한 것은 데이터의 종류에 따라 압축 방법을 바꾼다는 설계입니다.

AI 에이전트 (Claude Code, Cursor, Codex...)
↓ 도구 출력 · 로그 · RAG 결과 · 파일
┌──────────────────────────────┐
...

예를 들어 500행의 JSON 배열이 있다고 가정해 봅시다. 인간이라면 열의 구조를 순식간에 확인하고, 나머지는 에러나 이상치가 있는 행만 찾겠죠. Headroom의 SmartCrusher도 같은 발상으로, 처음과 끝, 중요도가 높은 항목이나 에러 행은 남기고, 반복적인 부분은 통계적인 표현으로 대체합니다.

상세 데이터: Benchmarks | Headroom

콘텐츠	절감 전	절감 후	절감률	처리 시간
JSON 배열 (100건)	3,163 tokens	297 tokens	90.6%	1ms
JSON 배열 (500건)	9,526 tokens	1,614 tokens	83.1%	2ms
셸 출력 (200행)	3,238 tokens	469 tokens	85.5%	1ms
빌드 로그 (200행)	2,412 tokens	148 tokens	93.9%	1ms
grep 결과 (150건)	2,624 tokens	2,624 tokens	0% (의도적)	<1ms
Python 소스 (480행)	2,958 tokens	2,958 tokens	0% (의도적)	<1ms
합계	23,921	8,110	66.1%	5ms

grep과 코드가 0%인 것은 사양입니다. "이미 컴팩트한 형식을 불필요하게 바꾸면 정확성이 깨진다"는 판단하에, 일부러 압축하지 않는 설계로 되어 있습니다.

100개의 JSON 로그(67번째에 FATAL 에러가 포함된 테스트)에서는 10,144 tokens → 1,260 tokens(87.6% 절감)으로 정확도 4/4를 유지했습니다. 참고로 F1 스코어 0.85→0.87이라는 수치는 별도의 QA 정확도 벤치마크 결과이므로, JSON 압축 이야기와는 분리해서 읽어야 합니다. HTML 노이즈 제거를 통해 LLM이 본질적인 콘텐츠에 집중하기 쉬워진다고 설명되어 있습니다.

'60~95% 절감'이라는 홍보 문구와 실제의 격차를 솔직하게 적겠습니다.

공식적으로 프록시의 실제 운영 50,000+ 세션 (250+ 인스턴스, 2026년 3월~4월)에서 집계된 수치가 다음과 같습니다.

백분위수	실제 절감률
P25	4.8%
중앙값(P50)
4.8%
P75	6.9%
평균	11.3%

**중앙값은 겨우 4.8%**입니다.

그 이유는 실제 세션에는 '짧은 대화 턴'이 대량으로 섞여 있기 때문입니다. 공식 문서에서도 '파일 로드나 셸 출력이 많은 헤비한 도구 사용 세션에서는 40~80%가 될 것'이라고 설명하고 있습니다.

즉, 효과는 사용 방식에 따라 크게 달라진다는 의미입니다.

압축 처리 시간 비용과 절약할 수 있는 토큰 비용을 비교해 본 결과, 검증한 5가지 시나리오 중 대부분에서 Headroom 도입 효과(메리트)가 비용을 상회합니다. 프록시의 오버헤드 중앙값은 52ms로, LLM의 추론 시간(2~10초)과 비교하면 무시할 수 있는 수준입니다.

자신의 워크플로우에 맞춰 선택할 수 있습니다.

github 내 README에서 발췌한 내용은 다음과 같습니다:

pip install "headroom-ai[all]"
# 기존 에이전트를 그대로 래핑
headroom wrap claude
...

headroom proxy --port 8787

OpenAI 호환 프록시로 구동되므로, 엔드포인트 URL만 변경하면 기존 코드가 그대로 작동합니다.

from headroom import compress
compressed = compress(messages, model="claude-sonnet-4-6")
# 이후는 일반 API 호출과 동일

headroom mcp install

MCP 대응 클라이언트에서 headroom_compress,
headroom_retrieve
등의 도구로 활용할 수 있습니다.

Headroom의 특징적인 기능은 **CCR(Compress, Cache and Retrieve)**입니다.
압축 전 원문을 로컬(Redis나 SQLite)에 저장해 두고, LLM이 상세 내용을 필요로 할 때 MCP 툴을 통해 원 데이터를 가져올 수 있도록 설계되었습니다.

이것이 단순한 요약/버림 처리와의 큰 차이점입니다.

• 요약: 나중에 필요할지 모르는 한 줄을 삭제할 위험이 있음 -
• 버림(Truncation): 로그 중간에 있는 에러나 이상치를 놓치기 쉬움 -
• CCR: 먼저 압축본을 전달하고, 필요하면 원 데이터로 돌아갈 수 있음

'로컬 우선(Local First)'을 내세우는 것도 이 때문이며, 사내 로그나 기밀 데이터를 외부 서비스로 보낼 필요가 없습니다.

공식 문서에서도 '효과를 보는 영역이 편중되어 있다'고 명확히 밝히고 있습니다.

효과를 보기 쉬운 경우:

• JSON 중심의 API 응답을 다룰 때
• 데이터베이스의 행을 자주 읽어올 때
• 구조화된 로그나 빌드/테스트 출력이 있을 때
• 긴 에이전트 세션을 사용할 때
• 여러 에이전트(Claude Code + Codex 등)를 조합할 때

효과가 적은 경우:

• 짧은 대화만 할 때
• 코드만으로 구성된 세션일 때
• 일회성 문의일 때

공식 Limitations 페이지에 '효과가 없는 케이스'가 솔직하게 나와 있으므로, 자주 언급되는 두 가지 사용 사례에 대해 정리해 드립니다.

코드를 로드하여 LLM에게 설계서를 작성하게 하는 패턴은 거의 효과가 없습니다.

공식 문서에 따르면, 소스 코드는 '정확성을 유지하기 위해 압축하지 않는' 설계입니다. 게다가 'analyze', 'review', 'explain', 'fix', 'debug' 등의 키워드가 최근 메시지에 포함되면 대화 내 모든 코드가 자동으로 보호됩니다. 설계서 생성의 맥락에서는 이러한 키워드가 거의 확실하게 포함되므로, 압축이 발동하지 않습니다.

설계서(텍스트·문서)를 입력값으로 사용하여 코드를 생성하는 패턴 또한 효과가 미미합니다.

RAG(Retrieval-Augmented Generation)를 통해 가져온 문서는 현시점에서 패스스루(Pass-through, 압축률 0%)이며, 직접 붙여넣은 일반 텍스트(Plain text)의 경우에도 43~46%의 절감에 그칩니다. 게다가 텍스트 압축은 처리 시간이 소요되기 때문에, 문서에는 "비용은 절감되지만 레이턴시(Latency)는 증가한다"라고 명시되어 있습니다.

코드나 설계서를 주체로 하는 워크플로우는 Headroom의 설계 대상에서 벗어나 있다고 볼 수 있습니다.

"proxy/wrap 모드라면 외부로 정보가 유출되는 것 아닌가?"라는 트윗을 보았기에, 이 부분을 제대로 조사해 보았습니다.

README에는 Headroom (runs locally — your data stays here)

라고 명시되어 있으며, 압축 및 변환 처리는 모두 로컬에서 완결됩니다. Headroom이 도구의 출력물이나 로그를 외부 서버에서 처리하는 것이 아닙니다.

다만, 전제 조건으로서 "압축된 데이터는 LLM 프로바이더(Anthropic, OpenAI 등)로 전송된다"는 점은 당연하며, 이는 Headroom 도입 전과 동일합니다. Headroom이 추가적인 정보 유출 경로를 만들지는 않습니다.

공식 설정 문서에는 다음과 같은 환경 변수가 기재되어 있습니다.

HEADROOM_TELEMETRY 기본값: on (익명 텔레메트리)

무엇이 전송되는지에 대한 상세한 설명은 문서에 명시되어 있지 않지만, "익명의 사용 통계"로 보입니다. 신경 쓰인다면 명시적으로 끌 수 있습니다.

export HEADROOM_TELEMETRY=off

기업의 보안 정책에 따라서는 기본값 그대로 두지 않고 Off로 설정하는 것을 검토해야 할 것입니다.

문서에는 --host 0.0.0.0이라는 실행 옵션 예시가 기재되어 있습니다. 이는 로컬호스트(Localhost)뿐만 아니라 LAN 상의 모든 인터페이스에 프록시를 바인딩(Bind)한다는 의미입니다.

headroom proxy \
--port 8787 \
--host 0.0.0.0 \ # ← LAN 전체에 공개됨
...

환경 변수의 기본값은 HEADROOM_HOST: 127.0.0.1 (로컬호스트만 허용)으로 설정되어 있으므로, 커맨드 옵션 샘플을 그대로 복사해서 붙여넣지만 않는다면 문제가 없습니다. 다만, 공유 개발 서버나 Docker에서 구동할 경우에는 의도치 않게 LAN에 공개되지 않도록 주의가 필요합니다.

원문 트윗의 주장은 오해이지만 주의는 필요하다는 느낌입니다.

• ❌ 오류: Headroom 자체가 데이터를 외부 서버로 보내는 것은 아니다
• ✅ 올바른 우려: 기본적으로 텔레메트리(Telemetry)가 켜져 있다는 점은 확인이 필요하다
• ✅ 올바른 우려: 설정에 따라 LAN에 공개될 수 있다는 점은 주의가 필요하다
• ✅ 올바른 우려: headroomlabs.ai 대시보드에 "커뮤니티 전체의 절약된 토큰 수"가 집계되어 표시될 가능성이 있으나, 이 부분은 추측을 포함하므로 단정하지 않는다

기업의 민감한 로그나 기밀 DB의 결과를 다루는 경우에는 도입 전에 보안 팀과 확인하는 것을 권장합니다.

AI 에이전트가 일상적인 개발 흐름에 들어온 지금, "똑똑한 모델을 사용할 것인가"라는 이야기만큼이나 "모델에게 매번 무엇을 읽히고 있는가"가 중요해지고 있습니다.

Headroom은 그 문제에 대해 로컬(Local), 가역성(Reversible), 멀티 에이전트(Multi-agent) 대응이라는 방향성으로 접근하고 있습니다. 불과 며칠 만에 이만큼의 Star가 모인 것도 같은 과제를 느끼는 개발자가 많다는 방증이라고 생각합니다.

저도 조만간 실제로 사용해 보려고 합니다. 혹시 먼저 사용해 보신 분이 있다면 소감을 댓글로 알려주세요!