Netflix 엔지니어가 AI 토큰 사용량을 60-95% 절감하는 오픈 소스 프록시를 개발했습니다

🚨 Netflix 엔지니어가 AI 토큰 (token) 사용량을 60-95% 절감하는 오픈 소스 (open-source) 프록시 (proxy)를 구축했습니다.

코드 변경은 전혀 필요 없습니다.

벤치마크 (Benchmarks) 결과, 정확도 (accuracy) 저하는 ±0.000 수준입니다.

✨ GitHub에서 29.9k 개의 스타 (stars)를 기록 중입니다.

이 도구는 앱과 LLM (대규모 언어 모델) 사이에서 작동하며, 모든 도구 출력, 코드 블록, 그리고 대화 기록이 전송 과정에서 압축 (compressed in-flight)됩니다.

🚫 요약 (summarization)은 없으며, 손실도 없습니다.
😎 동일한 답변을 유지하면서 토큰 (tokens) 사용량만 60-95% 줄여줍니다.

Claude Code, Cursor, Copilot, 그리고 모든 OpenAI 호환 클라이언트 (OpenAI-compatible client)와 함께 작동합니다.

단 한 번의 pip install과 하나의 환경 변수 (env var) 설정으로 완료됩니다.

Netflix는 이를 내부적으로 사용하고 있습니다.
Apache 2.0 라이선스입니다.
Tejas Chopra가 제작했습니다.

[IMG:1]