DeepStress: 심층 검색 에이전트 스트레스 테스트

요약

본 연구는 검색 에이전트가 낮은 품질의 증거에 취약하다는 문제점을 지적하며, 이를 해결하기 위한 스트레스 테스트 프레임워크인 DeepStress를 제안합니다. 이 프레임워크는 문서 신뢰성, 관련성, 사실성을 조절하여 까다로운 환경에서 검색 에이전트의 성능을 체계적으로 평가할 수 있게 합니다.

핵심 포인트

• 검색 에이전트는 낮은 품질 증거에 취약하며 실제 애플리케이션에서 실패 위험이 높습니다.
• DeepStress는 신뢰성, 관련성, 사실성을 제어하는 스트레스 테스트 프레임워크입니다.
• HotpotQA와 BrowseCompPlus 등에서 에이전트별 성능 차이를 입증했습니다.
• 시스템 결과를 더 잘 문서화하는 새로운 메트릭을 제시합니다.