
Semantra: 브라우저에서 실행되는 시맨틱 검색 (Semantic search)
요약
브라우저 환경에서 서버 없이 실행 가능한 시맨틱 검색 라이브러리 Semantra를 소개합니다. Snowflake의 Arctic-Embed-S 모델과 WebGPU를 활용하여 클라이언트 측에서 임베딩 및 유사도 검색을 수행합니다.
핵심 포인트
- WebGPU 및 WASM을 활용한 클라이언트 측 코사인 유사도 계산
- Snowflake Arctic-Embed-S 모델을 사용한 경량 임베딩 구현
- npm 설치 및 React 훅을 지원하는 개발자 친화적 인터페이스
- 서버 인프라 없이 브라우저만으로 시맨틱 검색 가능
Semantra를 구워냈습니다: 브라우저에서 완전히 실행되는 시맨틱 검색 (Semantic search)입니다. URL을 지정하거나 텍스트를 전달하면, 텍스트를 청크 (chunk)로 나누고, Snowflake의 Arctic-Embed-S (33M params, 30MB, q8 quantized)를 사용하여 임베딩 (embedding)을 수행하며, WebGPU (WASM fallback)를 통해 클라이언트 측에서 코사인 유사도 (cosine similarity) 랭킹을 실행하고, 모델을 캐싱하여 다음 로드 시 즉시 실행되도록 합니다. npm install semantra: search(), similarity(), embed()를 사용하거나, 단순히 Semvec을 임포트 (import)하여 시작하세요. 사용 중인 스택이 React라면 React 훅 (hook)도 포함되어 있습니다. 약 100개의 Wikipedia 문서를 대상으로 테스트해 보았습니다: - "machine learning" → 83% 일치 - "brain" → human brain이 74% 일치. 서버 인프라가 전혀 없는 상태에서 이 정도면 나쁘지 않습니다. Playground -> https://hemanth.github.io/semantra/ /u/init0 님이 제출함 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기