Barry가 이제 AI 에이전트의 컨텍스트를 약 50% 절감합니다 - 동일한 사실, 더 적은 토큰

Barry는 저장소(repo) 내부에 상주하는 저장소용 메모리입니다.
하나의 어시스턴트(assistant) 안에 지식을 가두는 대신, Barry는 소스에 기반한 일련의 사실과 결정 사항을 git 저장소에 보관합니다. 이는 코드처럼 검토되며, 모든 에이전트(agent)와 팀원 간에 공유됩니다. 작업을 시작할 때, 에이전트는 프로젝트 전체를 다시 읽거나(또는 다시 설명하거나) 하는 대신 해당 지식의 집중된 슬라이스(slice)를 가져옵니다.
사람들이 이를 좋아하는 이유:

• git에 존재함 - 공유되고, 버전 관리되며, 검토 가능합니다. 특정 도구의 블랙박스(black box) 안에 갇혀 있지 않습니다.
• 소스 기반(Source-backed) - 모든 사실은 이를 증명하는 코드를 가리키므로, "메모리"가 오래되거나 환각(hallucinate)을 일으키지 않습니다.
• 에이전트 불가지론(Agent-agnostic) - 단일 진실 공급원(one source of truth)을 통해 모든 에이전트가 동일한 것을 로드합니다.
• 설정 제로 - 명령어 하나로 시작

새로운 기능: 예측 가능한 토큰 절감.
이제 Barry는 토큰 예산(token budget)에 맞춰 컨텍스트(context)를 로드합니다. 사용자가 상한선을 설정하면, Barry는 가장 관련성이 높은 사실들로 이를 채우고 무엇을 제외했는지 정확히 알려줍니다. 잘려 나간 내용은 명령어 하나로 다시 불러올 수 있습니다(손실이 없는 lossless 방식이며, 아무것도 삭제되지 않습니다). 따라서 컨텍스트 비용을 정체불명의 덤프(dump)가 아닌 예측 가능한 수준으로 관리할 수 있습니다.
단순히 느낌(vibing)이 아니라임을 증명하기 위해 내장 벤치마크(benchmark)를 추가했습니다. 제 개인 저장소 기준 결과는 다음과 같습니다:

• 일반적인 컨텍스트 로드 시 토큰 사용량 약 50% 감소 - 작업에 실제로 필요한 사실의 100%를 유지하면서도 달성했습니다 (추측이 아닌 측정 결과).
• 하나의 지식 팩(knowledge pack)이 기본 예산에서 전체 회상(full recall)을 유지하며 약 7,200 → 약 1,450 토큰으로 감소했습니다 (약 80% 축소).
• 보너스: 벤치마크를 통해 로드 시 데이터가 중복되는 어리석은 버그를 발견했습니다. 이를 수정함으로써 원시 로드(raw loads)를 그 자체만으로 약 43% 줄였습니다.

또한 라우팅(routing)이 많은 팩 중 관련 있는 몇 가지만 로드하기 때문에, 저장소가 커질수록 더 많이 절약되며 오히려 손해를 보지 않습니다.
이는 오픈 소스(open source)이며 무료입니다. npx barry-cache init을 실행하면 어떤 저장소든 바로 적용되어 에이전트와 연결됩니다. 보너스로, npm run barry review를 통해 프로젝트의 개발 타임라인을 검토할 수 있으며, npm run barry changelog로 변경 로그(changelog)를 자동으로 생성할 수 있습니다.
/u/Nice-Pair-2802가 r/OpenAI에 제출함
[link] [comments]