지난 6개월 동안 Claude Code를 사용했고, 그다음은 Codex를 사용했으며, 이후에는 이 둘을 함께 사용했습니다. 이 모델들은 매우 훌륭하고 제품들도 잘 만들어졌지만, Dario가 어떤 문 뒤에 숨어 있는지 알 수 없을 정도입니다. 저는 계속해서 같은 한계에 부딪혔습니다. 즉, 모든 세션이 '0'부터 시작한다는 것입니다. 에이전트는 지난주에 무엇을 배웠는지, 왜 특정 결정이 내려졌는지, 어떤 접근 방식이 효과적이었는지, 또는 어떤 실패를 피해야 하는지 기억하지 못합니다. 저는 시간이 지남에 따라 더 똑똑해지는 에이전트를 원했고, 그것은 배운 것을 기억할 수 있어야 했습니다.

이를 해결하기 위해 저는 일시적인 컨텍스트 대신 영구 메모리(persistent memory)를 중심으로 한 오픈 소스 스택을 구축했습니다. 핵심 구성 요소는 런타임으로 Hermes Agent, 결정론적 거버넌스 서브스트레이트(deterministic governance substrate)로 OverCR, 브라우저 기반 IDE로 Cammander, 그리고 장기 기억 역할을 하는 Obsidian vault입니다. 임베딩(embeddings), 벡터 데이터베이스(vector databases), 또는 유사성 검색(similarity search) 대신, 유용한 발견들은 구조화된 마크다운으로 작성되어 미래 작업에서 재사용됩니다. 그 결과는 채팅창이 닫힐 때 지워지는 것이 아니라 지식이 축적되는 시스템입니다. 현재 이 vault에는 32개 도메란에 걸쳐 436개의 사실이 담겨 있으며, 매 세션마다 더 가치 있게 만듭니다.

이것을 구축하면서 얻은 가장 흥미로운 교훈 중 하나는 '지능'과 '거버넌스'를 분리하는 것이었습니다. Hermes는 확률적이고, 창의적이며, 모델 기반으로 자유로울 수 있습니다. 하지만 OverCR은 그렇지 않습니다. 모든 행동은 결정론적 상태 전이(deterministic state transitions), 감사 로깅(audit logging), 승인 게이트(approval gates), 그리고 샌드박스 제어(sandbox controls)를 거칩니다. 에이전트는 가능성을 생성하는 동안, 서브스트레이트가 제약을 강제합니다. 이 분리가 모델에게 스스로 규제하도록 맡기는 것보다 훨씬 더 신뢰할 수 있었습니다. 전체 시스템은 파일시스템 우선(filesystem-first)이며, 제가 가진 하드웨어에서 실행되고, 상업용 에이전트 플랫폼에 의존하지 않습니다.

이 스택의 아키텍처, 설계 결정 및 근거에 대한 더 긴 글을 여기 작성했습니다:
https://open.substack.com/pub/guideboardlabs/p/i-replaced-claude-code-and-codex
스택의 절반은 직접 만들었으며 완전히 오픈 소스로 아래에 공개합니다..

OverCR:
https://github.com/GuideboardLabs/overcr
Cammander:
https://github.com/GuideboardLabs/cammander
제출자: /u/itssethc r/LocalLLaMA에 제출됨
[링크] [댓글]