LLM 호출을 최적화하고 토큰 사용량을 줄이기 위한 컨텍스트 프로파일러 활용

안녕하세요 여러분. 로컬 PyCon 컨퍼런스에서 영감을 받아, 저는 LLM 애플리케이션과 코딩 에이전트를 위한 새로운 도구인 컨텍스트 윈도우 프로파일러를 개발하고 있습니다:
https://github.com/RimantasZ/contextspy
요즘 모든 이야기는 토큰 사용량을 줄이는 방법에 관한 것입니다 (API 비용을 절감하거나 로컬 추론 속도를 높이기 위함). 이 문제를 자동으로 해결하기 위한 수많은 도구들이 존재합니다. 'caveman mode'부터 다양한 토큰 압축기까지 말이죠.

ContextSpy는 LLM 애플리케이션의 컨텍스트 사용량을 분석하는 프로파일러 도구입니다. 이는 코딩 에이전트와 LLM API 사이에 위치하는 로컬 프록시(local proxy)로 구현되었습니다. ContextSpy는 모든 요청을 기록하고 입력 토큰이 어디에 사용되는지 세분화하여 보여줍니다 — 시스템 프롬프트, 툴 정의(tool definitions), 파일 내용, 대화 기록 등입니다 — 따라서 컨텍스트 윈도우가 실제로 어떻게 사용되고 있는지 확인할 수 있습니다.

이러한 접근 방식은 다른 쪽에서 토큰 사용량을 최적화할 수 있게 해줍니다. 마치 CPU나 메모리 프로파일러를 사용하여 성능 병목 현상이나 메모리 누수를 식별하는 것과 유사하게, ContextSpy는 컨텍스트에 무엇이 포함되어 있는지 검토하고 그 모든 정보가 정말로 필요한지 결정할 수 있도록 합니다.

아직 개발 초기 단계이므로 어떤 피드백이라도 환영합니다. 설정을 통해 테스트해 보시는 분, 이슈를 등록해 주시는 분(아직 해결해야 할 문제가 많습니다), 여기에 댓글을 남겨주시는 분, 또는 제가 밤샘 근무 후에도 계속할 수 있도록 별점을 찍어주시는 모든 분들께 감사드립니다 :)
https://preview.redd.it/kfpp1mryku6h1.png?width=4060&format=png&auto=webp&s=05b2afc5182559a4471860aed573f246e1ee4e82
https://preview.redd.it/lpvlnjmzku6h1.png?width=3254&format=png&auto=webp&s=a986915efb1bbdacbcc1105055e4f572b942783c
submitted by /u/iezhy
[link] [comments]