오래된 채팅 내용을 압축하여 토큰 비용을 절감하는 BYOK VS Code 에이전트 구축

문제점

긴 AI 코딩 세션에서 매 턴마다 이미 지불한 모든 것(모든 이전 메시지와 모든 도구 출력)을 다시 전송해야 합니다. 작업량이 늘지 않아도 요금은 계속 증가합니다. 저는 토큰에 대한 걱정 없이 더 큰 모델을 사용하고 싶었습니다.

CodeCook은 무료이며 MIT 라이선스가 적용된 VS Code 확장 프로그램입니다. 사이드바의 코딩 에이전트 역할을 하며, 사용자 자신의 API 키(BYOK)로 실행합니다. 마크업이나 종속성 없이 제공업체에 직접 비용을 지불할 수 있습니다.

이전 턴 압축: 이전 턴과 부피가 큰 도구 출력은 매번 다시 전송되는 대신 요약됩니다. 따라서 오래된 작업이 아닌 새로운 작업에 대해서만 비용을 지불합니다.
요약 후에도 계획 유지: 계획을 세우고 명령 팔레트에서 재개해도 에이전트는 긴 세션 동안 계속해서 그 계획을 따릅니다.
가시적인 비용: 토큰 최적화기, 절감 보고서, 예상 지출액과 함께 일별, 주별 또는 월별 상한선이 있어 긴 세션도 예상치 못한 지출을 막아줍니다.

하나의 긴 에이전트 세션에서 단일 턴은 계획과 작업 내용이 그대로 유지된 상태로 800,787 토큰에서 14,857 토큰으로 (약 98% 감소) 줄어들었습니다. 이는 평균값이 아닌 긴 세션의 한 턴에 대한 수치입니다. 절감액은 세션 길이에 따라 달라집니다.

모든 턴이 체크포인트됩니다. 네이티브 diff를 검토하거나, 모든 편집 내용을 유지하거나 되돌리거나, 이전 턴으로 돌아가 파일을 복원할 수 있습니다.
에디터의 코드를 강조 표시하거나 터미널의 텍스트를 강조 표시한 후 **채팅에 추가(Add to Chat)**를 선택합니다.

Google Gemini (Vertex AI 또는 API 키), OpenAI, Anthropic Claude, Azure OpenAI, 그리고 AWS Bedrock을 지원합니다. 이 중 하나만 필요합니다.

마켓플레이스에서 설치하기: https://marketplace.visualstudio.com/items?itemName=makayis.codecook
활동(activity) 바에서 CodeCook을 열고 Google 또는 GitHub으로 로그인합니다. 이렇게 하면 VS Code에만 저장되는 로컬 계정이 생성되며, CodeCook은 사용자의 리포지토리에 접근할 수 없습니다.
제공업체 하나 연결하기
에이전트에게 워크스페이스에서 작업하고 diff를 검토하도록 요청하세요.

CodeCook은 무료이며 제가 적극적으로 개선하고 있습니다. 다음 내용을 알려주시면 감사하겠습니다:

읽어주셔서 감사합니다!