최근 로컬 모델 (local models)을 실행하며 이것저것 시도해보고 있었는데, llama.cpp 서버 문서를 살펴보던 중 다음과 같은 실험적인 플래그 (flag)가 있는 것을 발견했습니다:

--tools TOOL1,TOOL2,...

이 플래그는 read_file, file_glob_search, grep_search, exec_shell_command, write_file, edit_file, apply_diff, 그리고 get_datetime을 네이티브로 지원합니다. 이는 기본적으로 llama-server를 하나의 미니 에이전트 하네스 (agent harness)로 변모시키는 도구 세트입니다. 여러분의 프로젝트에서 기본적인 AI 지원을 받기 위해 신뢰할 수 있는 .gguf 파일과 llama.cpp 바이너리 (binary) 외에 다른 것은 전혀 필요하지 않습니다.

파일 작업은 서버를 시작한 폴더를 기준으로 상대적이라는 점에 유의하세요. 또한 허용된 명령 목록 (whitelist)이나 원래 폴더 외부의 파일 작업을 엄격히 차단하는 것과 같은 보안 샌드박싱 (security sandboxing) 기능은 아직 없습니다. 따라서 무엇을 노출할지 매우 주의해야 합니다!

그럼에도 불구하고, llama.cpp가 이러한 능력들을 네이티브로 갖추어 가고 있다는 점이 매우 놀랍습니다. 현재 날짜/시간을 가져오거나 파일 내용을 읽는 것과 같은 작업을 위해 MCP (Model Context Protocol)나 무거운 래퍼 (wrapper)를 구축할 필요가 완전히 사라졌습니다.