대규모 리포지토리에서 Claude Code에게 '이 버그 어디 있어?'라고 물어볼 때마다 청구 금액이 서서히 늘어납니다. 개인 PC에서 구동되는 AI에게 도구를 사용하게 하고 싶지만, 작은 모델로는 불안합니다. 도착한 문서 확인을 AI에 맡기고 싶은데, 누군가 채팅으로 요청하기 전까지는 AI가 작동하지 않습니다.
오늘은 이 세 가지와 관련된 이야기를 다룹니다.
오늘 소개할 3가지
- ColGrep-Agent (LightOn) — Claude Code의 코드 검색 작업을 로컬에서 구동되는 2B 소형 모델이 대신 처리합니다. 개발사 측정 결과, 질문당 API 비용이 약 40% 감소했습니다. 다만 정확도가 떨어지지 않았다고 단언하기는 어렵습니다. -
- LFM2.5-24B-A2B (Liquid AI) — 도구를 사용하여 절차를 진행하는 데 능숙한 에이전트용 모델입니다. 전체 크기는 24B이지만, 단어 단위로 작동할 때는 약 2B에 불과합니다. 4비트 버전은 약 14GB이며, 한국어도 지원 언어에 포함되어 있습니다. -
- Amazon Bedrock AgentCore의 Ambient Agent (AWS) — 파일 도착이나 정해진 시간을 계기로 AI가 움직이기 시작하며, 막히는 부분만 사람에게 질문하는 구성입니다. 공식 샘플이 제공됩니다. 공개 후 2주 만에 절차 설명서보다 샘플 안내문이 더 최신 버전입니다.
1. Claude Code의 코드 검색을 로컬 소형 AI에 맡겨 API 비용을 40% 줄이기
간단히 말해: 코드 검색 작업을 로컬 소형 AI가 대신 처리하고, Claude Code에게는 해당 부분만 전달합니다.
무엇이 가능한가요?
Claude Code는 검색할 때마다 grep과 파일 읽기를 반복하며, 읽는 양(토큰)이 늘어납니다. 이를 PC 내부의 2B 모델이 대신 처리하여, 해당되는 파일명, 행, 코드만 반환합니다.
얼마나 줄일 수 있나요?
개발사 LightOn이 Claude Code (Sonnet 5.5)로 52개의 코드 검색을 측정했습니다.
- 질문당 API 비용(캐시 할인 포함): 7.3센트 → 4.4센트
- 정확도: 83.3% → 80.8%
저자는 차이는 오차 범위 내로 보면서도, 의미 있는 하락을 부정할 수는 없다고 언급했습니다. 대기 시간은 길어지고, 작은 리포지토리일수록 효과가 약해집니다.
설치 방법:
brew install lightonai/tap/colgrep && colgrep --install-agent
colgrep --install-claude-code
colgrep init # 프로젝트 폴더에서
주의할 점:
- 한국어 질문이나 주석에 대한 언급은 없습니다.
- 측정한 것은 코드 검색만이며, 수정 작업까지 포함한 것은 아닙니다.
- 독자 댓글에는 '로컬 AI가 놓친 파일은 Claude에게 보이지 않는다'는 지적이 있었습니다.
시도해 보기: 개인적으로 바로 시도할 수 있습니다. macOS, Linux, Windows를 지원하며 모델 크기는 약 2.5GB입니다. M3 Pro에서 질문당 약 20초, 메모리 최대 3~4GB(개발사 측정)가 필요합니다.
회사에서 사용한다면: 코드와 모델 모두 Apache-2.0 라이선스입니다. 대규모 사내 리포지토리의 비용 절감에 활용할 수 있습니다.
출처: "ColGrep-Agent: Cutting Frontier Coding Agents' Tokens by a Third" / Maxence Lasbordes 외(LightOn) / 2026-10-12 / https://huggingface.co/blog/lightonai/colgrep-agent
2. 도구를 능숙하게 사용하는 24B 모델을 개인 PC에서 구동하기
간단히 말해: 에이전트용 모델입니다. 전체 크기는 24B이지만, 단어 단위로 작동할 때는 약 2B에 불과하여 로컬에서 빠르게 구동됩니다.
무엇이 바뀌었나요? (LFM2-24B-A2B와의 차이점)
- 사고 절차: 필수 사항은 아님 → 매번 반드시 생각한 후 답변합니다.
- 한 번에 읽을 수 있는 길이: 약 3.2만 토큰 → 약 13만 토큰
- 어휘력: 6.5만 → 12.8만 (한국어 등 라틴 문자 외 처리 개선)
- 학습 데이터: 약 17조 토큰 → 약 33조 토큰
얼마나 할 수 있나요?
수치는 Liquid AI 자체 측정 결과입니다. 에이전트 작업 테스트(LiveClaw)에서는 한 단계 큰 Qwen3.6-35B-A3B를 48.09점 대 38.19점으로 능가했다고 합니다. 반면, 코드 수정 테스트(SWE-Bench Verified)에서는 51.0점 대 66.2점으로 패배했습니다. 지식이나 코딩은 큰 모델에 분산되어 있다는 것이 공식적으로 인정되고 있습니다.
직접 구동 가능?
필요 메모리에 대한 공식적인 명시는 없습니다. 4비트 버전 파일은 GGUF가 14.5GB, MLX 버전이 13.6GB입니다. 메모리 16GB 기종에서는 빠듯하며, 24GB 이상이 기준입니다(필자의 추정).
ollama run hf.co/LiquidAI/LFM2.5-24B-A2B-GGUF:Q4_K_M
mlx_lm.chat --model "LiquidAI/LFM2.5-24B-A2B-MLX-4bit"
읽어보고 싶은 부분 할인 정보
일본어는 지원하는 16개 언어에 포함되어 있지만, 일본어로 된 평가 결과는 나와 있지 않습니다.
시도해 보기: 개인적으로 바로 시도할 수 있습니다. 메모리 24GB 이상의 Mac 또는 PC가 기준입니다.
회사에서 사용한다면: 자체 LFM Open License v1.0이 적용됩니다. 상업적 이용은 연간 매출 1,000만 달러 미만의 회사만 가능합니다.
출처: "Run fast, private agents on-device with LFM2.5-24B-A2B" / Liquid AI / 2026-10-13 / https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b
3. 파일이 도착하면 AI가 작동하고, 막히면 사람에게 묻는 시스템을 AWS로 구축하기**
간단히 말해: 채팅으로 호출하지 않아도, 파일 도착이나 정시를 계기로 AI가 작동하며, 판단이 필요한 부분만 사람에게 문의하는 구성입니다.
기존의 어려움은?
에이전트는 말을 걸지 않으면 움직이지 않습니다. 밤늦게 도착한 서류 확인도 누군가 부탁하기 전까지 시작되지 않습니다. 맡겨두는 것이 불안합니다.
어떻게 해결했나?
- 계기: S3에 파일이 놓이거나, 정해진 시간이 되면 에이전트가 구동됩니다.
- 사람에게 문의: 막히면 '사람에게 묻기' 도구를 호출하여 멈추고, 관리 화면에 표시됩니다. 사람이 승인/거부/수정을 반환하면 재개합니다.
한 번의 작업은 도구와의 상호작용을 10회 왕복하며, 15분 이내로 제한되어 있습니다.
지금 읽는다면, 여기에 주의할 점
- 샘플 설명서(README)가 블로그보다 최신이며, 안전 설정(Bedrock Guardrails) 없이는 에이전트가 구동되지 않습니다. 절차는 README를 따르는 것이 안전합니다.
- 준비된 계기는 파일 도착과 정시뿐입니다. 알림 등은 직접 추가해야 합니다.
- AWS 자체 블로그 글이며, 자사 서비스 사용을 전제로 한 구성입니다.
시도해 보기: 조건부로 시도할 수 있습니다. AWS 계정(관리자 권한), Docker, Python 3.11 이상, Node.js, AWS CDK가 필요합니다. 10개에 가까운 서비스를 사용하며, 비용의 기준은 명시되어 있지 않습니다.
회사에서 사용한다면: '도착한 서류를 AI가 미리 읽고, 마지막은 사람이 승인'하는 업무 모델의 기초 자료로 활용할 수 있습니다. 샘플은 실제 운영용이 아님을 명기하고 있습니다.
출처: "Building ambient agents with Amazon Bedrock AgentCore: From event-driven signals to human-in-the-loop workflows" / Juan Albarran 외(AWS) / 2026-10-01 / https://aws.amazon.com/blogs/machine-learning/building-ambient-agents-with-amazon-bedrock-agentcore-from-event-driven-signals-to-human-in-the-loop-workflows/
Discussion
