좋은 타이밍일까요? pplx에서 학습시킨 작은 ColBERT 모델을 공개합니다

요약

Perplexity(pplx)가 pplx-embed-0.6b를 지속 학습하여 네이티브 다국어를 지원하는 소형 ColBERT 모델을 공개했습니다. 이와 함께 후기 상호작용 검색(Late-interaction retrieval)의 병목 현상을 해결하기 위해 Metal 및 WMMA 기반의 MaxSim 커널을 출시하여 기존 방식 대비 3~5배의 속도 향상을 구현했습니다.

핵심 포인트

• pplx-embed-0.6b를 기반으로 한 네이티브 다국어 지원 소형 ColBERT 모델 공개
• MaxSim 커널을 통한 후기 상호작용 검색(Late-interaction retrieval)의 성능 최적화
• simdgroup_matrix(Metal) 및 WMMA를 활용한 타일링 스코어링 적용
• 기존 단순 구현 방식 대비 3~5배의 검색 속도 향상 달성