대화형 검색 (Conversational Retrieval)의 정확한 평가는 검색 증강 생성 (RAG) 시스템을 발전시키는 데 매우 중요합니다. 그러나 기존의 대화형 검색 벤치마크는 비용이 많이 들고 희소한 인간 주석 (Human Annotation) 방식이나, 경직되고 부자연스러운 자동화된 휴리스틱 (Heuristics) 문제로 어려움을 겪고 있습니다. 이러한 과제를 해결하기 위해, 우리는 검색을 감사(Auditing), 합성(Synthesizing) 및 벤치마킹하기 위한 통합 프레임워크인 MTR-Suite를 소개합니다. 이 프레임워크는 다음과 같은 특징을 가집니다: (1) 이전 벤치마크의 정렬 격차 (Alignment Gaps)를 정량화하는 LLM 기반 감사 도구인 MTR-Eval; (2) 탐욕적 순회 클러스터링 (Greedy Traversal Clustering)을 사용하여 인간 비용의 1/400 수준으로 고충실도 대화를 생성하는 멀티 에이전트 시스템인 MTR-Pipeline; (3) 엄격한 일반 도메인 벤치마크인 MTR-Bench. MTR-Bench는 실제 서비스 환경의 도전 과제(어려운 주제 전환, 장황함 등)를 모방하여 우수한 변별력을 제공합니다. 우리는 향후 연구를 촉진하기 위해 코드와 데이터를 https://github.com/rangehow/mtr-suite 에서 공개합니다.