Netflix 엔지니어가 AI 토큰 사용량을 60-95% 절감하는 오픈 소스 프록시를 개발했습니다

요약

Netflix 엔지니어가 개발한 오픈 소스 프록시가 AI 토큰 사용량을 60-95% 절감합니다. 코드 변경 없이 LLM 클라이언트와 앱 사이에서 작동하며, 정확도 저하 없이 데이터를 압축하여 비용을 획기적으로 줄여줍니다.

핵심 포인트

• 코드 변경 없이 pip install과 환경 변수 설정만으로 사용 가능
• 정확도 저하 없이 토큰 사용량을 60-95% 절감
• OpenAI 호환 클라이언트 및 Claude Code, Cursor 등과 연동 가능
• 요약 방식이 아닌 인플라이트 압축 방식을 사용하여 데이터 손실 방지