LLM 도구 사용을 위한 적응형 추론 및 실행의 사례 기반 보정 (Case-Based Calibration of Adaptive

요약

본 논문은 LLM의 도구 사용 능력을 향상시키기 위해 '사례 기반 보정(Case-Based Calibration)' 접근 방식을 제안합니다. 제시된 CAST 프레임워크는 과거 실행 궤적에서 복잡성 프로필과 실패 프로필 같은 사례 유도 신호를 추출하여, 이를 세밀한 보상 설계 및 적응형 추론에 활용합니다. 실험 결과, 이 방법은 불필요한 숙고를 줄이면서 스키마 충실 실행률과 도구 사용 성공률을 모두 높여 전체 실행 정확도를 향상시키고 평균 추론 길이를 단축하는 효과를 입증했습니다.

핵심 포인트

• LLM의 신뢰성 있는 도구 사용을 위해 적절한 추론 깊이와 구조적 유효성 간의 균형 맞추기가 중요합니다.
• CAST 프레임워크는 과거 실행 사례에서 복잡성 및 실패 프로필 같은 '사례 유도 신호'를 추출하여 모델 학습에 활용합니다.
• 추출된 지식은 세밀한 보상 설계와 적응형 추론 과정으로 변환되어 LLM이 사례 기반 전략을 자율적으로 내재화하도록 돕습니다.
• BFCLv2 및 ToolBench 실험에서 CAST는 실행 정확도를 최대 5.85%p 향상시키고 평균 추론 길이를 26% 감소시키는 성과를 보였습니다.