경험적 지식 통합 및 활성화를 통한 LLM 도구 호출(Tool Calling)의 한계 돌파

대규모 언어 모델 (LLMs)은 자율적인 에이전트 (autonomous agents)로서 동작하기 위해 도구 사용 (tool use)에 의존하지만, 도구 관련 지식의 부족과 비효율적인 지식 활성화로 인해 다단계 실행 (multi-step execution)에서 실패하는 경우가 많습니다. 따라서 본 연구에서는 지식 습득 (knowledge acquisition), 활성화 (activation), 그리고 내재화 (internalization) 단계를 아우르며 지식이 도구 사용 성능에 어떻게 영향을 미치는지에 대한 체계적인 연구를 제시합니다. 지식 습득 단계에서는 다양한 형태의 경험적 지식 (experiential knowledge)을 획득하고 평가하며, 분석 결과 단순한 인스턴스 수준 (instance-level) 지식만으로도 이미 강력하고 신뢰할 수 있는 이득을 제공할 수 있는 반면, 추상적인 의도 수준 (intent-level) 지식은 제한적인 이점만을 제공한다는 것을 보여줍니다. 추론 (inference) 시점에는 지식을 활성화하기 위해 LLM의 추론 깊이 (depth of reasoning)를 확장하도록 프롬프팅하는 것은 수익 체감의 법칙 (diminishing returns)이 나타나는 반면, 집계 (aggregation)를 동반한 병렬 샘플링 (parallel sampling)을 통해 추론 너비 (width of reasoning)를 확장하는 것이 잠재된 경험적 지식을 더 효과적으로 활성화한다는 것을 발견했습니다. 훈련 (training) 시점의 지식 내재화를 위해서는 지식 증강 데이터 (knowledge-augmented data)를 통한 사후 훈련 (post-training)이 성능을 더욱 향상시키며, 강화학습 (RL)이 지도 미세 조정 (supervised fine-tuning)보다 우수한 성능을 보입니다. 이러한 통찰을 바탕으로, 우리는 경험적 지식을 추론 너비 확장 추론 (reasoning-width-expanded inference) 및 지식 인지 훈련 (knowledge-aware training)과 통합하는 지식 증강 도구 실행 프레임워크인 KATE (Knowledge-Augmented Tool Execution)를 제안합니다. BFCL-V3 및 AppWorld에서의 실험은 모델 규모에 관계없이 강력한 베이스라인 (baselines) 대비 일관되고 상당한 개선을 입증합니다. 우리의 코드는 https://github.com/hypasd-art/KATE 에서 확인할 수 있습니다.