Netflix 엔지니어가 코드 한 줄 수정 없이 LLM 토큰 사용량을 60-95% 절감하는 로컬 프록시 Headroom를 오픈 소스로

요약

Netflix 엔지니어가 개발한 Headroom는 코드 수정 없이 LLM 토큰 사용량을 60-95% 절감할 수 있는 오픈 소스 로컬 프록시입니다. AST 기반 압축 기술을 통해 답변 품질을 유지하면서도 컨텍스트를 지능적으로 압축합니다.

핵심 포인트

• 코드 수정 없이 LLM 토큰 비용을 60-95% 절감 가능
• Claude, Cursor 등 다양한 AI 도구와 호환되는 프록시
• AST 기반 압축 및 가역적 로컬 저장소 기술 활용
• 답변 품질 저하 없이 효율적인 컨텍스트 관리 지원