1,000개의 세션을 12KB로 압축하는 Ollama용 메모리 사이드카를 제작했습니다 — 오픈 소스, 클라우드 미사용, 파인튜닝 불필요
요약
Ollama 사용자의 대화 패턴을 압축하여 시스템 프롬프트로 자동 주입하는 CLI 사이드카 도구인 fg-sync를 소개합니다. 초차원 컴퓨팅 기술을 활용해 대량의 세션 데이터를 매우 작은 크기로 압축하여 효율적인 컨텍스트 관리를 지원합니다.
핵심 포인트
- 프랙탈 문법 추출 및 초차원 컴퓨팅 기반의 데이터 압축
- 원본 대화 기록 대비 약 82:1의 높은 압축률 달성
- 세션 수와 관계없이 일정한 메모리 점유율 유지
- 모든 Ollama 클라이언트와 호환 가능한 오픈 소스 도구
모든 Ollama 세션은 차갑게(cold) 시작됩니다. 매번 당신의 기술 스택, 선호도, 도메인을 다시 설명해야 합니다.
저는 fg-sync를 제작했습니다: Ollama 옆에서 작동하며, 당신의 대화 패턴을 포착하고, 프랙탈 문법 추출 (fractal grammar extraction) + 초차원 컴퓨팅 (hyperdimensional computing)을 사용하여 이를 압축된 행동 규칙 세트(~12KB)로 변환하는 CLI 사이드카 (sidecar)입니다. 그런 다음 매 요청마다 해당 규칙 세트를 시스템 프롬프트 접두사 (system prompt prefix)로 자동 주입합니다.
측정된 결과:
- 원본 대화 기록 대비 약 82:1 압축률
- 세션 수와 관계없이 AssociativeMemory 점유율이 39KB로 일정하게 유지
- 모든 Ollama 클라이언트와 호환 — 11434 포트 대신 11435 포트를 가리키기만 하면 됩니다
출시 전 버전 v0.1.0. 알려진 제한 사항은 KNOWN_LIMITATIONS.md에 솔직하게 문서화되어 있습니다.
리포지토리 (Repo): https://github.com/GreenbarSystems/fractal-grammar
백서 (Whitepaper, Zenodo): https://zenodo.org/records/XXXXXXX
submitted by /u/sneezy_dwarf952
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기