집에서도 서브 에이전트(sub-agents)를 사용합니다

요약

VRAM이 제한된 로컬 환경에서 서브 에이전트(sub-agents)를 효율적으로 활용하기 위한 구현 방안을 소개합니다. llama.cpp와 pi 코딩 에이전트를 활용하여 단일 KV 캐시 슬롯 제약을 극복하고, 컨텍스트를 관리하며 서브 에이전트 작업을 수행하는 방법을 다룹니다.

핵심 포인트

• VRAM 부족 문제를 해결하기 위해 단일 KV 캐시 슬롯 환경에 최적화된 서브 에이전트 구조 제안
• llama.cpp 서버와 pi 코딩 에이전트를 하네스로 사용하여 로컬 LLM 기반의 에이전트 팀 구성
• MTP(Multi-Token Prediction) 기술을 활용한 Qwen 모델의 높은 추론 성능(25-40 tps) 확인
• 메인 컨텍스트 저장 및 관리를 위한 슬롯 엔드포인트 활용 계획