Synthetic Users, Real Differences: an Evaluation Framework for User Simulation

AI 채팅봇 평가를 위한 실제 사용자 채팅과 상호작용을 수집하고 점수화하는 대안으로 사용자 시뮬레이션 (User Simulation) 을 탐구하는 데 대한 관심이 증가하고 있습니다. 이 목적을 위해, 시뮬레이션의 현실성 (realism) 을 보장하는 것이 중요합니다. 즉, 시뮬레이션 대화 (simulated dialogues) 가 채팅봇과 실제로 하는 대화 (real dialogues users have with chatbots) 를 얼마나 잘 반영하는지를 확인해야 합니다. 대부분의 기존 방법은 시뮬레이션 현실성을 평가하여 개별 대화 수준에서만 거친 품질 신호를 생성하며, 이 영역에서 더 엄밀한 평가를 지원하기 위해 우리는 8 차원 (dimensions) 을 통해 실제 대화와 시뮬레이션 대화를 통신 기능, 사용자 상태, 메시지 표면 형태 (surface form) 와 관련된 속성 (attributes) 을 따라 분포적 관점 (distributional view) 을 취할 수 있도록 하는 평가 프레임워크인 realsim 을 제안합니다. 우리는 이제 1K 개의 다중 턴 (multi-turn) 임무 중심 (task-focused) 실제 사용자-채팅봇 대화 데이터셋을 사용하여 이 프레임워크를 구현하며, 이는 채팅봇 애플리케이션의 16 개 도메인 (domains of chatbot applications) 을 포함합니다. 전체적으로, 우리는 시뮬레이션된 사용자들이 실제 사용자가 상호작용에 도입하는 통신 마찰 (communication frictions) 을 포착하는 데 어려움을 겪는 경향이 있음을 발견하며, 이는 이러한 시뮬레이션 기반 평가가 지나치게 낙관적일 수 있음을 의미할 수 있습니다. 또한, 서로 다른 도메인에서 성능의 변동성을 관찰하며, 이는 도메인별 사용자 시뮬레이터 (domain-specific user simulators) 에 대한 필요성을 나타낼 수 있습니다.