PruneTIR: 효과적이면서도 효율적인 추론 시간 도구 호출 가지치기 (Pruning)를 통한 도구 통합 추론

요약

PruneTIR은 대규모 언어 모델(LLMs)이 외부 도구를 사용하는 과정에서 발생하는 오류가 있는 도구 호출의 부정적인 영향을 완화하고 추론 능력을 향상시키기 위해 제안된 프레임워크입니다. 이 방법은 추가 훈련 없이 LLM의 추론 시간(inference time)에 적용되어, 성공 기반 가지치기, 막힘/재샘플링 기반 가지치기, 재시도 기반 도구 일시 중지 등 세 가지 구성 요소를 통해 모델이 비효율적인 실패 시도에 빠지는 것을 방지합니다. 광범위한 실험 결과는 PruneTIR이 LLM의 성능을 크게 향상시키고 효율성을 높이는 동시에 컨텍스트 길이를 줄임을 입증했습니다.

핵심 포인트

• PruneTIR은 도구 통합 추론(TIR) 능력을 추가 훈련 없이 추론 시간(inference time)에 개선하는 프레임워크입니다.
• LLM의 오류가 있는 도구 호출은 답변 정확도와 음의 상관관계를 가지며, 이러한 실패는 비효율적인 후속 턴을 유발합니다.
• PruneTIR은 성공 기반 가지치기(Success-Triggered Pruning), 막힘/재샘플링 기반 가지치기(Stuck-Triggered Pruning and Resampling), 재시도 기반 도구 일시 중지(Retry-Triggered Tool Suspension) 세 가지 메커니즘을 사용합니다.
• 이 프레임워크는 LLM의 전반적인 성능을 향상시키고, 작업 컨텍스트 길이(working context length)를 줄여 효율성을 높입니다.