StarDrinks: 음료 주문 시나리오를 위한 영어 및 한국어 SLU 평가용 테스트 세트

요약

StarDrinks는 LLM과 음성 비서가 복잡한 사용자 요청을 처리하는 능력을 평가하기 위해 설계된 영어 및 한국어 테스트 세트입니다. 이 데이터셋은 단순한 통제 시나리오의 한계를 넘어, 실제 사용 환경에서 발생하는 다양한 명칭 개체, 커스터마이징, 그리고 주저함 같은 자발적 화용 현상을 포착합니다. StarDrinks는 음성-슬롯(SLU), 전사-슬롯(NLU), 음성-전사(ASR) 등 다각적인 평가를 지원하여 모델의 견고성과 일반화 능력을 검증하는 현실적인 벤치마크를 제공합니다.

핵심 포인트

• StarDrinks는 LLM 및 음성 비서의 실제 사용자 요청 처리 능력을 평가하기 위한 영어/한국어 테스트 세트이다.
• 이 데이터셋은 단순한 통제 시나리오가 아닌, 주저함이나 자기 수정 같은 자발적 화용 현상까지 포함하여 현실성을 높였다.
• StarDrinks는 음성-슬롯(SLU), 전사-슬롯(NLU), 음성-전사(ASR) 등 다중 모달리티 및 태스크 평가를 지원한다.
• 이 벤치마크는 모델의 견고성과 일반화 능력을 검증하는 데 초점을 맞추고 있다.