Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cpp 서버에 파일 읽기, 쓰기, 쉘 명령 실행 등 다양한 네이티브 도구가 포함된 실험적 플래그가 추가되었습니다. 이를 통해 별도의 복잡한 래퍼 없이도 llama-server를 미니 에이전트 하네스로 활용할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최근 로컬 모델 (local models)을 실행하며 이것저것 시도해보고 있었는데, llama.cpp 서버 문서를 살펴보던 중 다음과 같은 실험적인 플래그 (flag)가 있는 것을 발견했습니다:
--tools TOOL1,TOOL2,...
이 플래그는 read_file, file_glob_search, grep_search, exec_shell_command, write_file, edit_file, apply_diff, 그리고 get_datetime을 네이티브로 지원합니다. 이는 기본적으로 llama-server를 하나의 미니 에이전트 하네스 (agent harness)로 변모시키는 도구 세트입니다. 여러분의 프로젝트에서 기본적인 AI 지원을 받기 위해 신뢰할 수 있는 .gguf 파일과 llama.cpp 바이너리 (binary) 외에 다른 것은 전혀 필요하지 않습니다.
파일 작업은 서버를 시작한 폴더를 기준으로 상대적이라는 점에 유의하세요. 또한 허용된 명령 목록 (whitelist)이나 원래 폴더 외부의 파일 작업을 엄격히 차단하는 것과 같은 보안 샌드박싱 (security sandboxing) 기능은 아직 없습니다. 따라서 무엇을 노출할지 매우 주의해야 합니다!
그럼에도 불구하고, llama.cpp가 이러한 능력들을 네이티브로 갖추어 가고 있다는 점이 매우 놀랍습니다. 현재 날짜/시간을 가져오거나 파일 내용을 읽는 것과 같은 작업을 위해 MCP (Model Context Protocol)나 무거운 래퍼 (wrapper)를 구축할 필요가 완전히 사라졌습니다.