AI 코딩 어시스턴트와 LLM 인터페이스 사이의 프록시: 코드 컨텍스트 압축으로 토큰 비용 절감

실시간으로 과도한 코드 컨텍스트를 압축하는, AI 코딩 어시스턴트와 LLM 인터페이스 사이에 배치되는 에이전트가 토큰 비용을 50–80% 절약합니다.
https://github.com/borhen68/TokenTamer
...
AI 코딩 어시스턴트와 LLM 인터페이스 사이에 끼워 넣은 Python으로 작성된 에이전트는 요청을 가로채고 AST(Abstract Syntax Tree)를 사용하여 코드를 구문 분석하며, 배경 파일을 시그니처와 클래스 이름 스켈레톤만 남기고 축소합니다. Aider, Cursor, Claude Code, Codex CLI 등을 지원하며, 일부는 SSL 설정 없이도 사용 가능합니다. 압축 전략은 세 가지 계층으로 구성됩니다: AST 스켈레토나이징(skeletonization), 도구 인식 압축(tool-aware compression), 그리고 Anthropic의 장기 세션 캐시 하이재킹(long sessions를 통해 약 73% 절약 가능). 얼마나 많은 토큰과 비용을 절약하는지 확인할 수 있는 실시간 대시보드를 제공하며, 스트리밍 전송 및 OpenAI/Anthropic을 지원합니다.