pplx-embed-v2-context를 소개합니다: 9B와 0.6B 규모의 오픈 웨이트(open-weight) 비전-언어 임베딩 모델입니다.
두 모델 모두 문서당 하나의 int8 벡터 또는 전체 문서를 볼 수 있는 청크(chunk)당 하나의 벡터를 반환합니다.
@turbopuffer가 작성한 논문을 읽어보세요:
https://arxiv.org/abs/2610.38854
9B 모델은 ConTEB와 두 가지 새로운 벤치마크인 context-bench 및 Q2D-Chunk에서 선두를 차지했습니다. 후자는 답변 청크(answer chunks)와 이를 검증하는 데 필요한 증거(evidence)를 레이블링한 최초의 벤치마크입니다.
Q2D-Chunk는 실제 Perplexity 검색 트래픽을 사용합니다: 쿼리 6,069개, 언어 10개, 문서 71,100개.
이 모델들은 다른 문맥 임베딩(contextual embeddings) 모델들과 다르게 훈련되었습니다.
쿼리당 하나의 골드 청크(gold chunk) 대신, 청크 수준의 관련성 점수(relevance scores)는 Perplexity의 답변 파이프라인에 있는 쿼리 인식 문맥 압축 모델에서 증류되었습니다. 지원하는 청크(Supporting chunks)가 더 이상 부정적인 요소가 아닙니다.
두 모델 모두 비문맥 모드(non-contextual mode)로도 실행됩니다: 청크 분할 없이 문서당 하나의 임베딩을 사용합니다.
ViDoRe-V3 마크다운에서 0.6B 모델은 청크 분할된(문맥적, contextual) 경우든 분할되지 않은(비문맥적, non-contextual) 경우든 가장 강력한 sub-1B 모델입니다. 128 토큰 청크를 사용하는 문맥적 9B는 voyage-context-4 다음으로 두 번째로 강력합니다.
9B 모델은 오직 텍스트만으로 훈련되었음에도 불구하고 시각적 문서에서 선도적인 밀집 검색기(dense retrievers)보다 뛰어난 성능을 보였습니다.
페이지당 두 개의 1024차원 임베딩을 사용하여, 더 작은 인덱스 크기(4배)로 ViDoRe-V3에서 Nemotron-3.5-Embed-8B를 능가합니다.
https://pplx.ai/hf-embed-v2-9b
https://pplx.ai/hf-embed-v2-0.6b