좋은 타이밍일까요? pplx에서 학습시킨 작은 ColBERT 모델을 공개합니다
요약
Perplexity(pplx)가 pplx-embed-0.6b를 지속 학습하여 네이티브 다국어를 지원하는 소형 ColBERT 모델을 공개했습니다. 이와 함께 후기 상호작용 검색(Late-interaction retrieval)의 병목 현상을 해결하기 위해 Metal 및 WMMA 기반의 MaxSim 커널을 출시하여 기존 방식 대비 3~5배의 속도 향상을 구현했습니다.
핵심 포인트
- pplx-embed-0.6b를 기반으로 한 네이티브 다국어 지원 소형 ColBERT 모델 공개
- MaxSim 커널을 통한 후기 상호작용 검색(Late-interaction retrieval)의 성능 최적화
- simdgroup_matrix(Metal) 및 WMMA를 활용한 타일링 스코어링 적용
- 기존 단순 구현 방식 대비 3~5배의 검색 속도 향상 달성
좋은 타이밍일까요? 저희는 pplx에서 학습시킨 작은 ColBERT 모델을 보유하고 있습니다. 이 모델은 pplx-embed-0.6b를 지속 학습 (continue-training)한 모델로, 네이티브 다국어 (native multilingual)를 지원합니다. 방금 모델을 공개하고 MaxSim 커널 (kernel) 사용법 섹션을 추가했습니다: https://huggingface.co/perplexity-ai/pplx-embed-v1-late-0.6b
[인용 @ErikKaum: @huggingface에 저의 첫 번째 커널을 출시합니다:
MaxSim
후기 상호작용 검색 (Late-interaction retrieval, ColBERT / PyLate)은 전체 유사도 행렬 (similarity matrix)을 구현하는 과정에서 병목 현상이 발생합니다. 이 커널은 simdgroup_matrix (Metal) 및 WMMA를 사용한 타일링 스코어링 (tiled scoring)을 통해 이를 방지합니다.
결과적으로 단순 구현 방식 (naive) 대비 3~5배의 속도 향상을 보여줍니다]
[인용 URL: https://x.com/ErikKaum/status/2056338682416701455]
AI 자동 생성 콘텐츠
본 콘텐츠는 X @clementdelangue (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기