Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 AI 에이전트가 도구를 호출할 때, 단순히 허용 여부를 넘어 해당 호출이 작업의 의도와 논리적으로 관련성이 있는지를 검증하는 방법을 제시합니다. Small Language Models (SLMs)을 활용하여 '작업-도구 관련성 분류기'를 구축하고, 이를 통해 에이전트가 수행하는 모든 도구 호출에 대한 관련성 신호를 제공함으로써 보안과 정확성을 높이는 방안을 연구했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기도구가 장착된 AI 에이전트는 도구 호출(tool calls)을 사용하여 데이터에 접근하고 외부 시스템에서 행동합니다. 에이전트 시스템의 수평적 성장은 이러한 상호작용의 수를 증가시키고, 저지연 및/또는 온프레미스 환경에서 작동할 수 있는 자동화된 호출별 감독(oversight)의 필요성을 더욱 높이고 있습니다. 기존의 권한 부여 체계는 에이전트가 도구를 호출하는 것이 허용되는지 여부는 판단할 수 있지만, 에이전트의 근본적인 인지 능력, 특히 해당 도구 선택이 작업의 의도(intent)를 충족하기 위한 논리적이고 관련성 있는 단계인지를 평가할 수는 없습니다. 결과적으로, 허용된 호출이라 할지라도 작업의 의도에서 벗어날 수 있습니다: 악의적인 에이전트는 호출을 변경하거나 다른 에이전트에게 작업을 의도와 일치하지 않는 조합의 호출을 하도록 유도할 수 있습니다. 따라서 모든 호출은 검증되어야 합니다. 본 연구에서는 이러한 목적에 Small Language Models (SLMs)의 적용 가능성을 조사합니다: SLM은 작업-도구 관련성 분류기(task-tool relevance classifier) 역할을 하여, 선택된 모든 도구를 할당된 작업과 독립적으로 평가하고 다운스트림 강제 집행을 위한 관련성 신호(relevance signal)를 반환합니다. 여러 개의 도구가 필요하며 각각 다른 Model Context Protocol (MCP) 서버에 걸쳐 있는 다중 도구 작업을 포함하는 새로운 데이터셋을 활용하여, 프롬프트 최적화(prompt-optimization), 지도 미세 조정(supervised fine-tuning), 그리고 GRPO를 통한 강화학습(reinforcement learning)으로 SLMs를 최적화하고 전문화했습니다.