VISTA: 에이전트 평가를 위한 다재다능한 대화형 사용자 시뮬레이션 툴킷

평가(Evaluation)는 대화형 에이전트(interactive agent) 개발에 있어 여전히 중요한 병목 현상으로 남아 있습니다. 기존의 평가 방법들은 종종 정적인 벤치마크(static benchmarks)에 의존하는데, 이는 에이전트적 행동(agentic behavior)의 역동적이고 다단계적인 특성을 포착하지 못하며 의미 있는 실패 모드(failure modes)를 드러내는 데 어려움을 겪습니다. 사용자 시뮬레이션(user-simulation) 기반의 평가는 유망한 대안을 제공하지만, 기존의 시뮬레이션 프레임워크는 두 가지 주요한 한계를 가지고 있습니다. 첫째, 시뮬레이션된 상호작용의 품질과 포괄성을 평가하기 위한 메커니즘이 제한적이어서, 시뮬레이터가 에이전트의 역량과 실패 모드를 충분히 탐색하는지 평가하기 어렵습니다. 둘째, 대부분의 프레임워크가 UI 전용 동작(UI-only actions) 또는 API 전용 동작(API-only actions) 중 하나로 제한되어 있어, 실제 사용자의 광범위한 행동 범위를 모델링하는 데 한계가 있습니다. 이러한 한계를 해결하기 위해, 우리는 에이전트 평가를 위한 다재다능한 대화형 사용자 시뮬레이션 툴킷인 VISTA를 제안합니다. 우리의 툴킷은 시뮬레이션된 상호작용의 현실성(realism), 역량 커버리지(capability coverage), 그리고 상호작용 효과성(interaction effectiveness)을 측정하기 위한 6가지 지표 세트를 포함합니다. 또한, 우리는 UI 기반 상호작용과 API 기반 상호작용을 모두 통합한 하이브리드 사용자 시뮬레이터(hybrid user simulator)를 개발하여, 다양한 대화형 환경에서 더욱 현실적이고 포괄적인 평가를 가능하게 합니다. 우리는 이커머스 쇼핑 및 교육 고객 서비스 환경에서 VISTA를 평가하였으며, 이것이 기존 방법들보다 더 현실적이고 포괄적인 평가를 생성함을 입증합니다.