DRIP-R: 소매(Retail) 도메인에서 실제 정책 모호성 하의 의사결정 및 추론을 위한 벤치마크

요약

DRIP-R은 실제 소매(retail) 도메인의 정책적 모호성을 활용하여 LLM 에이전트의 의사결정 및 추론 능력을 평가하기 위해 설계된 새로운 벤치마크입니다. 기존 벤치마크들이 명확하게 정의된 정책을 가정하는 것과 달리, DRIP-R은 단 하나의 정답이 존재하지 않는 모호한 시나리오를 제공합니다. 이 벤치마크는 반환(return) 시나리오와 현실적인 고객 페르소나, 도구 호출 기능을 포함하며, 다중 심사위원 평가 프레임워크를 통해 정책 준수, 대화 품질 등 복합적인 측면을 평가합니다.

핵심 포인트

• LLM 에이전트가 실세계의 모호한(ambiguous) 정책 환경에서 작동하는 것이 중요해지고 있다.
• 기존 LLM 벤치마크들은 대부분 명확하게 정의된 정책만을 가정하여 실제 환경과의 평가 격차가 존재한다.
• DRIP-R은 소매 도메인의 '반환' 시나리오를 중심으로, 단일 정답이 없는 모호한 의사결정 과정을 체계적으로 테스트한다.
• 평가 프레임워크는 정책 준수, 대화 품질, 행동 정렬 등 다차원적인 관점에서 모델의 성능을 심층적으로 측정한다.