도구 호출의 쓰라린 교훈 (The Bitter Lesson of Tool Calling)

요약

본 연구는 기존의 JSON 기반 도구 호출 대신 프로그래밍 방식 도구 호출(PTC)의 성능을 BFCL v4 벤치마크를 통해 검증합니다. 실험 결과, PTC는 대다수의 모델에서 JSON 방식보다 우수하거나 대등한 성능을 보였으며 특히 병렬 처리와 컨텍스트 로트 상황에서도 높은 안정성을 입증했습니다.

핵심 포인트

• 프로그래밍 방식 도구 호출(PTC)은 JSON 호출의 강력한 대안임
• 14개 모델 중 11개 모델에서 PTC가 JSON 방식보다 우수한 성능 기록
• GPT-4o 계열 모델에서 JSON 대비 성능 10.6% 향상 확인
• 병렬 팬아웃 및 컨텍스트 로트 조건에서도 높은 안정성 유지