ToolTurns: 다중 턴 대화에서 LLM 에이전트 벤치마킹

요약

ToolTurns는 다중 턴 대화 환경에서 LLM 에이전트의 성능을 평가하기 위해 설계된 새로운 벤치마크입니다. 이 벤치마크는 명확화, 도구 사용, 맥락 유지 능력을 테스트하는 2,620개의 문제로 구성되어 있습니다. 연구 결과에 따르면, 에이전트는 단일 요청 해결률(69.6%) 대비 전체 대화 성공률(39.8%)에서 현저히 낮은 성능을 보였습니다.

핵심 포인트

• ToolTurns는 다중 턴 대화 전반의 작업 성공을 평가하는 테스트베드입니다.
• 2,620개의 문제와 47개 카테고리를 포괄하며 도구 사용 능력을 측정합니다.
• 에이전트 성능은 단일 요청 대비 전체 대화 맥락 유지에서 급격히 하락합니다.
• 사용자 시뮬레이터 및 checker--fixer 파이프라인을 통해 대화 결함을 개선할 수 있습니다.