요약

넷플릭스 엔지니어가 개발한 오픈소스 미들웨어 Headroom을 소개합니다. 에이전트와 모델 사이의 RAG 청크 및 로그를 자동으로 압축하여 토큰 비용을 획기적으로 절감합니다.

핵심 포인트

• Headroom은 에이전트용 로그 및 RAG 청크 압축 미들웨어임
• 명령어 하나로 토큰 사용 비용을 최대 92%까지 절감 가능
• 에이전트 연동 시 발생하는 과도한 토큰 소모 문제 해결