로컬 코딩 에이전트용으로 30K 토큰 시스템 프롬프트를 사용하는 것을 중단하세요. Ollama / llama.cpp를 사용하면 일반 Git

만약 로컬 코딩 모델(Qwen 2.5/3.8 Coder 14B/27B/32B, DeepSeek 또는 Llama 3을 Ollama, llama.cpp 또는 vLLM을 통해 실행한다면), 여러분은 이미 로컬 하드웨어에서 에이전트 코딩의 두 가지 치명적인 병목 현상을 알고 있습니다:

KV 캐시 및 TTFT 페널티: 클라우드 사용자는 생각 없이 Claude Opus에게 50,000 토큰 분량의 채팅 기록을 던집니다. 로컬 24GB 또는 32GB 장비에서 30K 토큰에 달하는 노이즈가 많은 대화 기록을 미리 채우는 것은 Time to First Token (TTFT)을 바닥으로 끌어내리고, 컨텍스트 창에 속해야 할 귀중한 VRAM을 소모하며,

영구적인 상태(Durable state)는 사람이 읽을 수 있고, git 버전 관리된 Markdown 파일 형태로 NVMe SSD에 보관되어야 합니다:

[ 로컬 머신: 일반 Git 버전 관리 Markdown ]
├── .context/CANONICAL.md <-- 불변의 아키텍처 규칙 및 API 계약
├── .context/memory_bank/ <-- activeContext.md & 세션 체크포인트
├── .agent/workflows/ <-- 결정론적 슬래시 명령어 (/start, /end, /plan)
├── .agent/skills/ <-- 온디맨드(on-demand)로 엄격하게 로드되는 도메인 기능
└── .agent/scripts/ <-- 검증 테스트 러너 및 린터 후크
   제출자:    /u/BangMyPussy  
[링크]   [댓글]