Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 AI 에이전트가 외부 도구에 의존하는 환경에서, 단순 의미적 관련성을 넘어 실행 동역학을 고려한 신뢰도 인식 검색 프레임워크 RATED를 제안합니다. RATED는 대비 학습된 이중 인코더와 실시간 피드백 기반의 문맥적 밴딧 모듈을 결합하여 도구 선택의 안정성과 정확도를 높입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI 에이전트가 외부 도구에 점점 더 의존함에 따라, 정확한 검색은 안정적인 동작에 필수적입니다. 기존 방법들은 의미론적 관련성(semantic relevance)만 최적화할 뿐, 실행 중 도구의 가용성은 대부분 무시합니다. 이러한 격차를 해소하기 위해, 우리는 견고한 의미 일치와 동적 신뢰도 적응을 결합하는 검색 프레임워크인 RATED (Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미 일치를 위해 대비 학습(contrastive fine-tuning)을 거친 고정된 이중 인코더(frozen dual-encoder)와, 실시간 실행 피드백을 기반으로 후보들을 재순위화하는 경량의 문맥적 밴딧 모듈(lightweight contextual bandit module)을 사용합니다. 이러한 설계는 값비싼 모델 재학습 없이도 런타임 도구 실패에 빠르게 적응할 수 있도록 합니다. 우리는 오프라인 검색 및 동적 신뢰도 평가를 위해 5,172개의 실제 세계 도구와 210,000개 이상의 질의-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과는 RATED가 실제 세계 질의에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR(Mean Reciprocal Rank) 개선을 달성하며, 30% 실패율의 심각한 API 중단 시나리오 하에서 도구 선택 오류율을 86.2%에서 2.9%로 줄이는 동시에, 인코딩 전용 추론 대비 1ms 미만의 무시할 만한 지연 시간 오버헤드를 발생시킨다는 것을 보여줍니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent에서 이용 가능합니다.