Hugging Face의 qvac/BotPsy-0.8B: 서브 빌리언 파라미터 에이전트형 언어 모델 기반 온디바이스 개인 비서

BotPsy-0.8B는 Qwen3.5-0.8B를 기반으로 하며 함수 호출(function calling) 및 에이전트 워크플로우(agentic workflows)에 최적화된 0.8B 파라미터 모델로, 온디바이스 배포에 적합합니다. BotPsy는 웹 검색 및 리서치, 여행 및 라이프스타일, 상거래 및 금융, 비즈니스 및 고객 운영, 장치 및 차량 제어, 파일 및 문서, 캘린더, 이메일 및 메시징과 같은 다양한 영역에서 도구를 사용하여 사용자에게 여러 가지 간단한 작업을 수행하는 '개인 비서'입니다. 파라미터 수가 작기 때문에 난이도가 낮거나 중간 정도의 작업에 가장 적합합니다. BotPsy는 크기에 비해 최첨단(SOTA) 수준의 도구 사용 및 에이전트 성능을 달성했으며, 테스트한 1.2B까지의 모든 모델보다 우수한 성능을 보였습니다. 작은 모델임에도 불구하고 BotPsy는 여전히 실수를 할 수 있으므로, 난이도가 낮거나 중간 정도인 작업에 가장 적합합니다.

주요 하이라이트
벤치마크 결과
기반 모델 대비 두 배의 성능: BotPsy는 주요 벤치마크에서 Qwen3.5-0.8B-Think의 에이전트 역량을 대략 두 배로 높였습니다. BFCL v4는 23.4점에서 44.0점으로, ACEBench는 30.1점에서 58.7점으로, 그리고 τ-bench는 23.2점에서 51.5점(리테일, 통신, 금융 하위 집단의 평균)으로 상승했습니다.

카테고리의 최고 에이전트: BotPsy는 ≤1.2B 파라미터 가중치 클래스(Qwen3.5-0.8B-Think, LFM2.5-1.2B-Think, MiniCPM5-1B-Think)의 모든 6가지 도구 사용 및 에이전트 벤치마크(BFCL v4, ACEBench, τ-bench, ToolSandbox, Claw-Eval, BrowseComp-Plus)에서 선도 모델들을 능가합니다.

더 큰 형제 모델보다 우수함: BotPsy는 테스트된 모든 모델 중 6개 벤치마크 중 5개에서 가장 높은 점수를 기록하며, 크기가 2.5배인 Qwen3.5-2B-Think을 BFCL v4(44.0 대 37.7), ACEBench(58.7 대 55.4), τ-bench(51.5 대 46.5), ToolSandbox(64.6 대 41.2), BrowseComp-Plus(4.5 대 2.8)에서 능가했습니다. 오직 Claw-Eval에서만 Qwen3.5-2B-Think이 앞섰습니다(48.9 대 46.5).

모델 기능
다중 턴 워크플로우에서 더 신뢰적임: 에이전트가 장시간 고객과의 대화를 유지하고, 엄격한 정책을 따르며, 고객을 대신하여 행동해야 하는 τ²-bench에서 BotPsy는 통신 분야에서 82.5점을 기록하며 Qwen3.5-2B-Think(69.3점)보다 높은 점수를 받았습니다.

BFCL v4의 다중 턴(multi-turn) 작업에서 성능이 기본 모델 대비 7.5점에서 46.1점으로 상승하여, Qwen3.5-2B-Think (23.8점)보다 거의 두 배 높은 수치를 기록했습니다. 애플리케이션별로 그룹화했을 때, 상거래 및 서비스 분야(Qwen3.5-2B-Think의 다음 모델인 47.4점 대비 58.3점)와 장치 및 시스템 관리 분야(31.9점 대비 46.1점) 모두에서 테스트된 모든 모델을 능가하는 다단계 점수를 기록했습니다.

도구 호출 시점(사용 여부)을 아는 능력: 행동하는 에이전트는 언제 행동하지 말아야 하는지 알아야 합니다. 적절한 도구가 존재하지 않을 때 모델이 거절하는지를 확인하는 BFCL v4의 환각 테스트(hallucination test)에서 BotPsy는 86.1점을 기록하며, 테스트된 모든 모델 중 가장 높은 점수를 받았습니다.

요청이 불완전하거나(incomplete), 잘못된 매개변수(wrong parameters)를 포함하거나, 주어진 도구로는 처리할 수 없는 경우를 다루는 ACEBench의 특수 케이스에서는 기본 모델 대비 13.7점에서 51.3점으로 점수가 상승했습니다.

지식 보존과 함께 지침 따르기(Instruction following): BotPsy는 일반적인 기술을 유지하면서 도구 사용에 특화되어 있습니다. 지침 준수 능력은 급격히 향상되었으며, IFEval은 59.7점에서 90.8점으로, IFBench는 22.0점에서 55.9점으로 상승하여 테스트된 모든 모델 중 가장 높은 IFBench 점수를 기록했습니다.

일반 지식 또한 향상되어, GPQA Diamond는 33.2점에서 38.1점으로, MMLU-Pro는 41.6점에서 48.9점으로 상승했습니다.

네 가지 모든 벤치마크에서 BotPsy는 우리가 테스트한 12억 개(1.2B) 파라미터 이하의 다른 모든 모델보다 우수한 성능을 보였습니다.

GGUF: https://huggingface.co/qvac/BotPsy-0.8B-GGUFs
Blog Post: https://huggingface.co/blog/qvac/botpsy
Project: https://tether.io/news/tethers-800m-ai-agent-beats-models-2-5x-its-size-on-everyday-phone-tasks/
submitted by /u/pmttyji [link] [comments]