CallScreenBench: 전화 비서로서의 온디바이스 모델 벤치마킹

요약

온디바이스 모델의 전화 비서 능력을 평가하기 위한 새로운 벤치마크인 CallScreenBench를 제안합니다. 기존 에이전트 평가와 달리 협력적 사용자가 없는 환경에서 모델의 대응 품질을 다섯 가지 차원으로 분석합니다.

핵심 포인트

• 온디바이스 모델을 위한 전화 비서 전용 벤치마크 CallScreenBench 제시
• 단순 작업 성공 여부가 아닌 사용자 동의 기반의 5가지 품질 차원 평가
• 모델 크기에 따른 품질과 분류 성능의 상관관계 분석
• 기존 지표가 가진 하한선(floor) 문제와 측정 오류 가능성 지적