Contract2Tool: 신뢰할 수 있는 도구 증강 LLM 에이전트를 위한 전제 조건 및 효과 학습

도구 증강 대규모 언어 모델 (LLM) 에이전트는 점점 더 외부 API에 의존하고 있지만, 표준 도구 스키마 (tool schemas)는 도구를 호출하는 방법은 설명하지만, 해당 도구가 인과적으로 적절한 시점이나 도구가 생성하는 작업 상태 (task state)에 대해서는 설명하지 않습니다. 인과적 도구 필터링 (Causal tool filtering)은 각 도구의 전제 조건 (preconditions), 효과 (effects), 위험 수준 (risk level), 비용 (cost)을 명시하는 경량 계약 (contracts)을 사용하여 이러한 격차를 해결합니다. 그러나 이러한 계약을 수동으로 작성하고 유지 관리하는 것은 대규모이거나 변화하는 도구 생태계에 확장 적용하기 어렵습니다. 우리는 메타데이터, 스키마, 문서 및 실행 추적 (execution traces)으로부터 도구 계약을 추론하기 위한 프레임워크인 Contract2Tool을 소개합니다. Contract2Tool은 관찰 가능한 도구 증거를 내재적으로 평가할 수 있고 다운스트림 인과적 도구 필터링 내에 배포될 수 있는 정규화된 기호 계약 (symbolic contracts)으로 변환합니다. 우리는 학습된 계약을 골드 전제 조건 (gold preconditions), 효과, 위험 라벨과 비교하여 평가하고, 다단계 에이전트 작업에서의 다운스트림 유용성을 측정합니다. 우리의 결과는 문서 및 추적 결합 증거가 골드 계약의 신뢰성 및 효율성 이점 대부분을 보존할 수 있을 만큼 충분히 정확한 계약을 생성함을 보여줍니다. 학습된 계약 기반의 CMTF는 모든 도구 노출 방식과 비교했을 때, 가시적 도구 수를 100개에서 1개로 줄이고 평균 토큰 사용량을 26,172개에서 2,528개로 줄이면서도, 골드 계약 기반 CMTF의 0.990에 근접한 0.980의 다운스트림 성공률을 달성했습니다. 이러한 결과는 학습된 계약이 도구 스키마와 신뢰할 수 있는 에이전트 실행 사이에서 확장 가능한 계약 계층을 제공할 수 있음을 시사합니다.