사용자 시뮬레이터가 AI 어시스턴트의 상호작용 훈련 및 평가에 점점 더 많이 사용됨에 따라, 이들이 실제 사용자의 다양한 행동을 대표하는 것이 필수적입니다. 기존 연구들은 사용자 시뮬레이터를 훈련하여 인간과 유사한 응답을 생성하지만, 이것이 실제 사용자 행동의 광범위하고 이질적인 분포를 포착하는지는 여전히 미해결 문제입니다. 본 논문에서는 인간 연구 및 제거 실험(ablation)을 통해 검증된, 실제 및 시뮬레이션 사용자 행동 간의 분포 격차를 측정하는 방법을 소개합니다. 실제 대화와 시뮬레이션 대화 데이터셋이 주어지면, 저희 방법은 각 대화에서 사용자 행동의 표현(representation)을 추출하고, 이를 클러스터링을 통해 이산적인 분포로 양자화한 다음, 발산 지표(divergence metrics)를 계산합니다. 저희는 코딩 및 작문 작업에 대한 24개의 LLM 기반 사용자 시뮬레이터를 체계적으로 평가하는 최초의 사례를 제공하며, 모델 패밀리, 규모, 행동 측면 전반에 걸쳐 실제 사용자와 큰 분포 격차가 존재함을 밝혀냅니다. 쌍별 비교(Pairwise comparisons) 결과, 대부분의 시뮬레이터는 유사하게 작동하지만, 몇몇은 두드러지게 다릅니다. 행동적으로 상보적인 시뮬레이터들을 결합하는 것이 개별 시뮬레이터만 사용하는 것보다 결과 분포를 실제 사용자에게 더 가깝게 만듭니다. 마지막으로, 클러스터에 대한 TF-IDF 분석은 시뮬레이터가 포착하고, 놓치고, 환각(hallucinate)시키는 행동의 해석 가능한 패턴을 드러냅니다.