Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
사용자의 모호한 요구사항을 해결하기 위한 AI 검색 에이전트의 능력을 평가하는 VibeSearchBench를 소개합니다. 200개의 태스크를 통해 다회차 대화와 능동적 검색 능력을 지식 그래프 기반으로 측정합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기사용자가 무엇을 원하는지 명확히 말하지 못하는 상황에서 AI 에이전트(AI Agent)가 다회차 대화(Multi-turn dialogue)와 능동적 검색(Active search)을 통해 답을 찾아낼 수 있는지 테스트해 보세요.
https://
gitub.com/VibeBench/VibeSearchBench
...
AI 검색 에이전트(AI Search Agent) 평가 세트입니다. 200개의 태스크로 구성되어 있으며, 절반은 전문적인 연구, 나머지 절반은 일상생활에 관한 내용입니다. 모든 태스크는 사용자의 요구사항이 모호한 상황에서 모델이 능동적으로 검색할 것을 요구합니다.
평가 방식은 모델이 출력한 지식 그래프(Knowledge Graph)를 표준 정답과 비교하여, LLM(Large Language Model)을 이용해 노드 매칭(Node matching) 및 삼원조(Triplet) 정확도를 점수로 계산하는 방식입니다. 최고 점수는 30.3으로, "사용하기 좋은" 수준까지는 아직 상당한 거리가 있습니다. 프레임워크는 두 가지 에이전트 모드를 지원하며, 실행을 위해서는 LLM API와 검색 도구(Search tool)를 설정해야 합니다.
여러 클라우드 스토리지 서비스를 지원하며, 서버 대역폭을 소비하지 않는 온라인 재생에 중점을 둔 개인용 비디오 사이트입니다.
https://
gitub.com/nianzhibai/91
91은 115, PikPak, OneDrive, Google Drive 또는 로컬 파일을 통합할 수 있는 개인용 비디오 사이트입니다. 핵심은...