사용자가 무엇을 원하는지 명확히 말하지 못하는 상황에서 AI 에이전트가 다회차 대화와 능동적 검색을 통해 답을 찾아낼 수 있는지 테스트해

사용자가 무엇을 원하는지 명확히 말하지 못하는 상황에서 AI 에이전트(AI Agent)가 다회차 대화(Multi-turn dialogue)와 능동적 검색(Active search)을 통해 답을 찾아낼 수 있는지 테스트해 보세요.
https://
gitub.com/VibeBench/VibeSearchBench
...
AI 검색 에이전트(AI Search Agent) 평가 세트입니다. 200개의 태스크로 구성되어 있으며, 절반은 전문적인 연구, 나머지 절반은 일상생활에 관한 내용입니다. 모든 태스크는 사용자의 요구사항이 모호한 상황에서 모델이 능동적으로 검색할 것을 요구합니다.

평가 방식은 모델이 출력한 지식 그래프(Knowledge Graph)를 표준 정답과 비교하여, LLM(Large Language Model)을 이용해 노드 매칭(Node matching) 및 삼원조(Triplet) 정확도를 점수로 계산하는 방식입니다. 최고 점수는 30.3으로, "사용하기 좋은" 수준까지는 아직 상당한 거리가 있습니다. 프레임워크는 두 가지 에이전트 모드를 지원하며, 실행을 위해서는 LLM API와 검색 도구(Search tool)를 설정해야 합니다.

여러 클라우드 스토리지 서비스를 지원하며, 서버 대역폭을 소비하지 않는 온라인 재생에 중점을 둔 개인용 비디오 사이트입니다.
https://
gitub.com/nianzhibai/91
91은 115, PikPak, OneDrive, Google Drive 또는 로컬 파일을 통합할 수 있는 개인용 비디오 사이트입니다. 핵심은...