개인화된 턴 단위 사용자 대화 만족도 벤치마크

AI 어시스턴트에 대한 사용자 만족도는 매우 개인화되어 있습니다. 동일한 응답이라도 각 사용자가 무엇을 기대하는지, 그리고 이전에 무엇을 요청했는지에 따라 한 사용자에게는 만족을 줄 수 있지만 다른 사용자에게는 실망을 줄 수 있습니다. 기존의 자동 평가 방법들은 대부분 일반적인 응답 품질 (generic response quality)을 측정하기 때문에, 특정 턴 (turn)에서 응답이 사용자를 만족시키는지 판단하기 어렵습니다. 우리는 이 문제를 개인화된 턴 단위 사용자 대화 만족도 평가 (personalized turn-level user conversation satisfaction evaluation)로서 연구합니다. 우리는 압축된 사용자 메모리 (user memories)와 대상 턴 문맥 (target-turn context)을 결합하여 만족도 점수와 불만족 중심의 근거 (dissatisfaction-oriented rationales)를 생성하는 대화 만족도 평가기를 구축합니다. 인간의 만족도 주석 (human satisfaction annotations)에 대한 메타 평가 (Meta-evaluation) 결과, 개인화된 메모리와 사후 점수 보정 (post-hoc score calibration)은 지도 학습 (supervised), 검색 기반 (retrieval-based), 그리고 일반적인 LLM-as-a-judge 베이스라인들에 비해 서열 일치도 (ordinal agreement)와 불만족 턴 탐지 (dissatisfied-turn detection) 성능을 향상시킵니다. 우리는 더 나아가, 검증된 평가기를 사용하여 리플레이 (replay)를 통해 생성 모델을 평가하는 개인화된 턴 단위 사용자 대화 만족도 벤치마크인 PersTurnBench를 소개합니다. 리플레이 상태를 고정함으로써, PersTurnBench는 모든 후보 모델에 대해 새로운 인간 라벨 (human labels)을 수집하지 않고도 일반 생성 모델과 메모리 증강 개인화 시스템 (memory-augmented personalized systems)을 통제된 방식으로 비교할 수 있게 해줍니다. 이 평가기와 벤치마크를 통해 연구자들은 모든 모델에 대해 새로운 사용자 피드백을 수집하지 않고도 개인화된 만족도 측면에서 후보 생성 모델들을 비교할 수 있습니다.