온디바이스(On-device)에서 AI Agent를 실행하는 경량 런타임: 앱이 제어 가능하고, 추적 가능하며, 복구 가능한 Agent를
요약
온디바이스 환경에서 제어, 추적, 복구가 가능한 경량 AI Agent 런타임을 소개합니다. ReAct 루프와 도구 스케줄링을 통해 모델 실행 단계를 검증하며, MiniCPM-V 4.6 모델을 기반으로 성능을 최적화했습니다.
핵심 포인트
- 온디바이스 최적화된 경량 런타임 제공
- ReAct 루프 기반의 모델 호출 및 도구 스케줄링
- 세션 스냅샷 및 복구 기능을 통한 안정성 확보
- MiniCPM-V 4.6 미세 조정을 통한 Agent 성능 대폭 향상
온디바이스(On-device)에서 AI Agent를 실행하는 경량 런타임(Lightweight Runtime)을 통해, 앱이 제어 가능하고(Controllable), 추적 가능하며(Traceable), 복구 가능한(Recoverable) Agent를 실행할 수 있게 합니다.
이 런타임은 ReAct 루프를 사용하여 모델을 호출하고, 실행 단계를 검증하며 도구(Tool)를 스케줄링합니다. 도구 레지스트리(Tool Registry), 온디맨드(On-demand) 스키마 로딩, 컨텍스트 예산 관리(Context Budget Management), 세션 스냅샷/복구(Session Snapshot/Recovery), 후크 가드레일(Hook Guardrails) 및 관측성(Observability) 기능이 내장되어 있습니다. 기반 모델은 MiniCPM-V 4.6이며, SFT + DPO 미세 조정(Fine-tuning)을 거친 후 Agent 작업의 pass@1 수치가 3/200에서 101/200으로 상승하였고, 도구 재현율(Tool Recall)은 5%에서 82%로 향상되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기