Cognitor는 대상 폴더(및 하위 폴더)의 전체 콘텐츠를 자동으로 청킹(Chunking), 임베딩(Embedding) 및 인덱싱하여 AI 에이전트와 인간 모두가 쉽게 검색할 수 있도록 지원하는 오픈 소스 시맨틱 검색 엔진(Semantic Search Engine)이자 벡터 데이터베이스(Vector Database)입니다.

자연어를 통해 인덱싱된 데이터를 쿼리할 수 있는 간단한 REST API를 제공하며, 독립적인 시맨틱 검색 엔진, 벡터 데이터베이스, 또는 애플리케이션의 백엔드로 사용할 수 있습니다.

작동 방식은 다음과 같습니다:

Cognitor는 두 가지 주요 구성 요소로 이루어져 있습니다:

검색 엔진(Search engine): 문서 임베딩(Embeddings), 전체 텍스트(Full text) 및 메타데이터(Metadata)를 저장하고, 인덱싱된 정보를 쿼리할 수 있는 간단한 REST API를 제공하는 벡터 데이터베이스(Vector Database)입니다.
워커(Worker): 지정된 폴더의 변경 사항을 모니터링하고, 파일 콘텐츠를 자동으로 청킹(Chunking) 및 임베딩(Embedding)하며, 그에 따라 벡터 데이터베이스를 업데이트하는 백그라운드 프로세스입니다.

사용 방법:

1. 저장소 복제 (Clone the repo)
   git clone https://github.com/tanaos/cognitor.git cd cognitor

2. 검색 엔진 + 워커 시작
   프로젝트 루트에 있는 .env 파일에 다음 환경 변수를 설정하세요:

호스트 머신의 데이터 수집을 위한 절대 경로 DOCS_FOLDER=/path/to/your/docs # 워커가 인덱싱된 문서를 저장할 컬렉션 이름 COGNITOR_COLLECTION_NAME=cognitor-worker-documents

다음 명령어로 검색 엔진과 워커를 모두 실행합니다:
docker compose --profile worker up -d

3. 애플리케이션과 통합
   다음 언어에 대한 SDK를 제공합니다:

Python
Javascript/Typescript

또는, http://localhost:7530에서 제공되는 REST API나 http://localhost:7530/docs의 Swagger UI를 사용하는 모든 HTTP 클라이언트를 사용하여 상호작용할 수 있습니다.

Python 통합 예시
SDK 설치:
pip install cognitor
코드에서 사용하기:
from cognitor import Cognitor

with Cognitor("http://localhost:7530") as client:
# 검색 엔진이 요청을 받을 준비가 되었는지 확인
print(client.health_ready()) # "ready" 또는 "loading"

 # 텍스트 쿼리(text query)로 검색
 response = client.search("my-collection", query_text="Hello", top_k=10)
 print(response)

더 많은 예시와 문서는 Python SDK 페이지를 참조하세요.
제출자: /u/Ok_Hold_5385
[link] [comments]