Harbor v0.4.19 - vllm/sglang/llama.cpp 출시 (codex/claude/pi/opencode)
요약
Harbor v0.4.19 업데이트를 통해 vllm, sglang, llama.cpp와 같은 로컬 추론 백엔드를 사용하여 에이전트 코딩 도구를 실행할 수 있습니다. 최적화된 LLM 게이트웨이를 통해 웹 검색 도구를 자동으로 주입하고 프록시하는 기능을 제공합니다.
핵심 포인트
- vllm, llama.cpp 등 로컬 추론 백엔드 지원
- 로컬 에이전트 코딩 도구 실행 기능 추가
- LLM 게이트웨이를 통한 도구 자동 주입 기능
- --web 옵션으로 간편한 웹 검색 기능 연동
저는 이곳 커뮤니티에 대한 존중의 의미로 Harbor 출시 소식을 평소에는 잘 올리지 않지만, v0.4.19 버전은 많은 사람의 시간을 절약해 줄 수 있을 것 같아 글을 올립니다.
이제 Harbor를 통해 로컬 추론 백엔드 (local inference backends)를 사용하여 로컬 에이전트 코딩 도구 (agentic coding tools)를 실행할 수 있습니다. 예를 들어, pi + vllm을 실행하려면 다음과 같이 합니다:
# 모델 다운로드 및 설정 완료 상태
harbor up vllm
# Harbor는 vllm이 실행 중임을 인지하고 이를 사용합니다
harbor launch pi
또한, launch 명령어는 내장된 최적화 LLM 게이트웨이 (optimising LLM gateway)를 통해 요청을 프록시 (proxy)할 수 있습니다. 이 게이트웨이는 웹 검색과 같은 도구 (tools)를 자동으로 주입하고 해결하므로, 명령어 끝에 --web만 추가하면 에이전트에 웹 검색 기능을 추가할 수 있으며 Harbor가 모든 것을 미리 연결해 줍니다:
harbor launch --web --model qwen3.5:4b --backend ik_llamacpp mi -p 'Find recent releases of agentic tools and write a two sentence overview'
더 자세한 내용은 여기 위키 (wiki)에서 확인하실 수 있습니다:
감사합니다!
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0