TL;DR – 우리는 실시간 세계 응용 프로그램용 임베딩 모델의 검색 정확도를 신뢰할 수 있게 평가하기 위해 설계된 새로운 벤치마크인 검색 임베딩 벤치마크 (RTEB) 의 베타 버전을 소개합니다. 기존 벤치마크는 진정한 일반화 능력을 측정하는 데 어려움을 겪으며, RTEB 는 오픈 및 프라이빗 데이터셋의 하이브리드 전략을 통해 이를 해결합니다. 그 목표는 간단합니다: 모델이 이전에 보지 못한 데이터에서 어떻게 수행되는지를 측정하기 위한 공정하고 투명한 응용 프로그램 중심 표준을 만드는 것입니다.
RAG 와 에이전트부터 추천 시스템까지 많은 AI 애플리케이션의 성능은 검색 및 검색 품질에 근본적으로 제한됩니다. 따라서 임베딩 모델의 검색 품질을 정확하게 측정하는 것은 개발자의 일반적인 고통입니다. 야생에서 모델이 얼마나 잘 수행될지 어떻게 진짜 알 수 있나요?
이 부분이 복잡해집니다. 평가의 현재 표준은 종종 공개 벤치마크에서의 모델 "제로샷" 성능에 의존합니다. 그러나 이는 모델의 진정한 일반화 능력을 대략적으로 나타낼 뿐입니다. 모델이 동일한 공개 데이터셋에 대해 반복적으로 평가될 때, 보고된 점수와 새로운 보지 못한 데이터에서의 실제 성능 사이에 간극이 발생합니다.
이러한 도전을 해결하기 위해 우리는 검색 모델 평가를 위한 신뢰할 수 있는 표준을 제공하도록 설계된 RTEB 를 개발했습니다.
기존 벤치마크의 평가 방법론과 지표 (예: NDCG@10) 는 잘 알려져 있고 견고하지만, 기존 벤치마크의 무결성은 다음과 같은 문제들로 인해 종종 훼손됩니다:
일반화 간극. 현재 벤치마크 생태계는 "시험에 맞추기"를 우연히 장려합니다. 학습 데이터 소스가 평가 데이터셋과 겹칠 경우, 모델의 점수는 비틀릴 수 있어 벤치마크의 무결성을 훼손합니다. 이는 의도적이든 아니든 여러 모델의 학습 데이터셋에서 명확하게 드러납니다. 이는 모델이 테스트 데이터를 암기하는 것이 아니라 견고하고 일반화 가능한 능력을 개발하도록 보상하는 피드백 루프를 만듭니다.
위와 같은 이유로, 낮은 제로샷 점수 [1] 가 있는 모델은 벤치마크에서 매우 잘 수행될 수 있지만 새로운 문제에는 일반화되지 않습니다. 따라서 약간 낮은 벤치마크 성능과 높은 제로샷 점수를 가진 모델을 권장하는 경우가 많습니다.
오늘의 AI 애플리케이션과의 불일치. 많은 벤치마크는 개발자가 오늘 구축하는 기업 사용 사례와 poorly aligned 입니다. 그들은 종종 학술 데이터셋이나 QA 데이터셋에서 파생된 검색 작업을 의존하며, 이는 자체적으로 유용하지만 검색을 평가하기 위해 설계되지 않았으며 실제 세계 검색 시나리오에서 경험하는 분포 편향과 복잡성을 포착하지 못할 수 있습니다. 이러한 벤치마크는 종종 너무 좁아 단일 도메인 (예: 코드 검색) 에 초점을 맞추어 일반적인 모델을 평가하는 데 적합하지 않습니다.
오늘 우리는 검색 임베딩 벤치마크 (RTEB) 를 소개합니다. 그 목표는 진정한 검색 정확도를 측정하는 새로운 신뢰할 수 있고 고품질의 벤치마크를 만드는 것입니다.
벤치마크 과적합을 극복하기 위해 RTEB 는 오픈 및 프라이빗 데이터셋을 모두 사용하여 하이브리드 전략을 구현합니다:
오픈 데이터셋: 코퍼스, 쿼리, 관련성 라벨은 완전히 공개되어 있습니다. 이는 투명성을 보장하고 모든 사용자가 결과를 재현할 수 있게 합니다.프라이빗 데이터셋: 이 데이터셋은 비공개로 유지되며 평가는 MTEB 관리자가 처리하여 공정성을 보장합니다. 이 설정은 모델이 보지 못한 데이터에 일반화하는 능력을 측정하는 명확하고 편향 없는 측정을 제공합니다. 투명성을 위해, 우리는 각 프라이빗 데이터셋에 대한 설명 통계, 데이터셋 설명 및 샘플 (query, document, relevance) 삼중을 제공합니다.
이 하이브리드 접근법은 넓은 견고한 일반화를 가진 모델 개발을 장려합니다. 오픈과 프라이빗 데이터셋 사이의 성능 감소가 상당하다면 과적합을 시사하여 커뮤니티에 명확한 신호를 제공합니다.
