Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ParaTool은 LLM의 도구 호출 시 발생하는 컨텍스트 오버헤드와 환각 문제를 해결하기 위해 제안된 프레임워크입니다. 도구 정보를 컨텍스트 문서 대신 로드 가능한 파라미터 세트로 전환하여 효율적인 도구 사용을 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기도구 호출 (Tool calling)은 대규모 언어 모델 (LLMs)이 외부 실행 가능한 인터페이스와 근거 있는 상호작용을 할 수 있도록 확장하여, 환경과 결합된 문제 해결을 지원합니다. 그러나 주류인 인컨텍스트 학습 (In-context learning, ICL) 방식은 일반적으로 상세한 도구 문서와 사용 예시를 컨텍스트에 직접 포함합니다. 이는 컨텍스트 길이가 길어짐에 따라 상당한 추론 오버헤드 (Inference overhead)를 초래하고 환각 (Hallucination) 위험을 높입니다. 반대로, 튜닝 기반 방식은 일반적인 도구 호출 능력을 향상시키지만, 이전에 본 특정 도구의 세부 사항을 효과적으로 내재화하지 못하는 경우가 많아 여전히 인컨텍스트 문서에 대한 의존성을 유지합니다. 이러한 한계를 해결하기 위해, 우리는 각 도구를 전용의 로드 가능한 파라미터 세트로 투영하는 프레임워크인 ParaTool을 제안합니다. 이러한 파라미터화된 도구들의 동적 통합을 갖춤으로써, LLM은 인컨텍스트 문서나 예시에 의존하지 않고 도구 호출을 수행할 수 있습니다. 구체적으로, 우리의 접근 방식은 세 단계로 구성됩니다: (1) 파라미터 도구 사전 학습 (Parametric tool pre-training)은 서로 다른 도구의 지식을 독립적인 파라미터 모듈로 캡슐화합니다; (2) 소프트 도구 선택 (Soft tool selection)은 게이팅 네트워크 (Gating network)를 사용하여 관련 도구 파라미터의 가중치를 동적으로 조절하고 집계합니다; (3) 파라미터 도구 미세 조정 (Parametric tool fine-tuning)은 훈련과 추론 과정을 일치시키기 위해 도구 파라미터를 공동으로 업데이트합니다. Stable ToolBench 및 BFCL에 대한 실험 결과, ParaTool은 강력한 ICL 기반 베이스라인들을 크게 능가하며, 계산 복잡성을 줄이면서도 우수한 성능을 달성함을 입증했습니다.