텍스트에서 음성으로: 도구 호출(Tool Calling) LLM 에이전트 평가를 위한 재현 가능하고 검증 가능한 프레임워크

요약

본 연구는 기존의 텍스트 기반 LLM 도구 호출 벤치마크를 데이터셋에 구애받지 않는(dataset-agnostic) 방식으로 오디오 기반 평가로 변환하는 프레임워크를 제안합니다. 이 프레임워크는 텍스트 음성 변환, 화자 변이, 환경 소음 등을 활용하여 기존 주석을 보존한 채 텍스트-오디오 쌍을 생성할 수 있습니다. 광범위한 모델 평가 결과, 성능은 모델과 작업에 따라 크게 달라지며, 특히 오디오 내 인자 값 이해 부족이 주요 실패 원인으로 분석되었습니다.

핵심 포인트

• 기존의 텍스트 기반 LLM 도구 호출 벤치마크를 재현 가능하고 검증 가능한 오디오 기반 평가로 확장하는 프레임워크를 제시했습니다.
• 제안된 프레임워크는 데이터셋에 구애받지 않으며, TTS, 화자 변이, 환경 소음 등을 활용하여 주석을 보존한 텍스트-오디오 인스턴스를 생성합니다.
• 다양한 모델(예: Gemini-3.1-Flash-Live, GPT-Realtime-1.5)을 평가한 결과, 성능 격차가 존재하며 오디오 내 인자 값 이해가 주요 난이도 요인임을 확인했습니다.
• 개인정보 보호를 위해 최소 8B 파라미터의 오픈 소스 LLM(Qwen3)이 폐쇄형 판독기와 높은 일치도를 보이는 평가 프로토콜을 제안합니다.