UXBench Pro: 다중 턴 대화 상호작용에서 개인화된 사용자 경험 평가

요약

본 논문은 다중 턴 대화 상호작용에서 사용자 경험(UX) 평가의 한계를 극복하기 위해 UXBench Pro를 제안합니다. 이는 실제 사용자 데이터를 기반으로 하며, 개인화된 사용자 보상 모델(URM)과 사용자 시뮬레이터 Sim4Eval을 결합한 이중 관점 패러다임을 도입했습니다. 이를 통해 사용자의 개별적인 기대치와 복잡한 상호작용 맥락에서의 평가가 가능해졌습니다.

핵심 포인트

• UXBench Pro는 1,000개의 테스트 인스턴스로 구성된 새로운 UX 평가 벤치마크입니다.
• 개인화된 사용자 보상 모델(URM)과 Sim4Eval을 결합한 이중 관점 패러다임을 사용합니다.
• 사용자 행동의 해석 가능한 측면(FACTORS)을 활용하여 그룹별 구분이 가능합니다.
• 새로운 메타 벤치마크(URMBench, USimBench)를 통해 평가 모델의 신뢰도를 검증했습니다.