ToolChoiceConfusion: 신뢰할 수 있는 LLM 에이전트를 위한 인과적 최소 도구 필터링

대규모 언어 모델 (LLM) 에이전트는 점점 더 외부 도구에 의존하고 있지만, 도구 메뉴가 커질수록 잘못된 도구 호출 (wrong-tool calls), 성급한 행동 (premature actions), 그리고 토큰 비용 (token cost)이 증가하여 신뢰성과 효율성이 저하될 수 있습니다. 기존의 도구 선택 방법들은 주로 의미론적 관련성 (semantic relevance)을 최적화하며, 사용자 요청과 이름이나 설명이 일치하는 도구들을 노출합니다. 우리는 관련성만으로는 불충분하다고 주장합니다. 어떤 도구가 작업과 관련이 있더라도, 현재 단계에서는 불필요하거나 성급할 수 있기 때문입니다. 우리는 인과적 충분성 (causal sufficiency)에 의해 도구를 선택하는 훈련이 필요 없는 방법론인 인과적 최소 도구 필터링 (Causal Minimal Tool Filtering, CMTF)을 제안합니다. CMTF는 경량화된 전제 조건-효과 계약 (precondition-effect contracts)을 사용하여, 현재 상태에서 사용자의 목표를 향해 나아가는 데 필요한 최소한의 다음 단계 도구 경계 (next-step tool frontier)만을 노출합니다. 다단계 도구 사용 작업 전반에 걸쳐, 우리는 CMTF를 모든 도구 노출 (all-tools exposure), 키워드 검색 (keyword retrieval), 상태 인식 필터링 (state-aware filtering), 그리고 인과 경로 절제 (causal-path ablations) 방식과 비교하며 작업 성공률, 잘못된 도구 호출, 성급한 행동, 도구 노출, 그리고 토큰 비용을 측정합니다. 102개의 작업, 100개의 도구, 4개의 LLM 백엔드, 그리고 2448회의 작업-방법-모델 실행을 포함하는 주요 벤치마크에서, CMTF는 종합적인 성공률 측면에서 가장 강력한 인과적 베이스라인 (causal baseline)과 대등한 성능을 보이면서도, 단계당 노출되는 도구를 100개에서 1개로 줄이고 모든 도구 노출 방식 대비 토큰 사용량을 약 90% 절감했습니다.