τ-Rec-Books: 에이전트 기반 추천 시스템의 요구사항 도출을 위한 공개 제어 벤치마크

대화형 추천 시스템은 더 자연스러운 사용자 인터페이스를 제공하지만, 사용자가 만족할 만한 항목을 추천하기 전에 점진적으로 사용자의 니즈를 발견해야 하는 과제에 직면합니다. 이러한 도출 과정에서 AI 에이전트의 능력을 평가하기 위해, 우리는 $ au$-Rec-Books라는 벤치마크를 소개합니다. 이 벤치마크는 사용자 요청을 고정하고 오직 사용자가 요구사항을 공개하는 방식만 변화시킵니다: 모두 시작 시점(volunteer), 하나는 시작 시점에 나머지 일부는 질문받았을 때(mixed), 또는 어떤 것도 결코(hidden) 공개되지 않는 경우입니다. 숨겨진 요구사항은 책을 제안하고 사용자의 수락 또는 거절 판결로부터 이를 추론함으로써만 발견할 수 있습니다. 우리는 Wikidata의 20,000개 도서 목록을 사용하여 450개의 과제를 생성하고, 에이전트에게 답변하는 규칙 기반 시뮬레이션 사용자(simulated user)를 개발했으며, LLM 심사관 없이 카탈로그 메타데이터와 추천 결과를 점수화합니다. 네 가지 에이전트와 두 가지 검색 인터페이스에 걸쳐 성공률은 평균적으로 0.975 (volunteer)에서 0.756 (mixed), 그리고 0.283 (hidden)으로 떨어집니다. mixed 과제는 주로 에이전트가 질문하지 않기 때문에 실패하며, 질문하도록 지시했을 때는 모든 에이전트가 최소 0.931에 도달합니다. hidden 과제의 경우, 대부분의 실패는 에이전트가 사용자에게 제안한 적 없는 책을 추천하는 데서 발생합니다. 먼저 제안하도록 지시받았을 때, 에이전트는 인기 있는 책을 제안하는 간단한 기준선(simple baseline)과만 일치하며, 가능한 요구사항을 배제하기 위해 거절(rejection)을 사용하는 방식보다 훨씬 낮은 수준에 머무릅니다. 우리는 카탈로그 파이프라인, 과제 생성기, 시뮬레이션 사용자, 검증기(validators), 참조 에이전트, 그리고 모든 에이전트 추적 기록을 https://github.com/nbharaths/tau-rec/tree/main/data/tracks/books-wikidata-v2에서 공개합니다.