TRACE: 출처 기반의 관광 추천 시스템

요약

본 논문은 기존 대화형 추천 시스템(CRS)이 가진 신뢰성 및 검증 가능성의 격차를 해소하기 위해 'TRACE'라는 새로운 데이터셋을 제안합니다. TRACE는 8개 미국 도시의 Yelp POI와 리뷰를 활용하여, 구체적인 리뷰 구간 인용과 명시적인 거절 처리 과정을 포함하는 다중 턴 관광 추천 대화로 구성되었습니다. 이 데이터셋은 정확도, 근거 기반성(Grounding), 그리고 복구 능력에 초점을 맞춘 25가지 포괄적인 평가 지표를 제공하며, LLM 및 검색기 모델들의 현재 역량 격차를 분석합니다.

핵심 포인트

• 관광 추천 시스템은 돈과 시간을 낭비할 위험이 높아 신뢰성(trustworthy), 검증 가능성(verifiable), 적응성이 필수적입니다.
• TRACE 데이터셋은 리뷰 구간 인용(review-span citations)과 거절 복구(rejection recovery)를 포함하는 다중 턴 대화로 구성되어, 실제 관광 시나리오를 반영합니다.
• 제안된 평가 지표는 정확도 외에도 근거 기반성(Grounding)과 적응형 복구 능력까지 포괄하여 시스템의 종합적인 성능을 측정합니다.
• 평가 결과, LLM Zero-Shot 모델은 폐쇄 집합 Recall@1 및 거절 복구에서 강점을 보이지만, 검색기만큼 밀도 있는 인용 능력을 갖추지 못하는 등 명확한 역량 격차가 확인되었습니다.