SQLite를 사용한 자체 호스팅 메모리 엔진 구축

공개 고지: 저는 이 오픈 소스 프로젝트의 제작자입니다. 만약 가정용 서버, 미니 PC 또는 저전력 노드에서 로컬 AI를 실행한다면, 표준 RAG(Retrieval-Augmented Generation) 설정은 보통 시작조차 어렵습니다. 8B 모델과 함께 Milvus, Qdrant 또는 Chroma를 구동하여 텍스트 청킹 및 파싱만 하는 과정에서 실제 추론 모델이 로드되기 전에 수 기가바이트의 메모리를 소모합니다. 게다가 클라우드 전화 홈 API는 데이터를 사적으로 자체 호스팅하려는 목적 자체를 무력화시킵니다. 저는 이러한 문제를 해결하기 위해 Hillock을 만들었습니다. 이것은 AGPL-3.0 하에 있는 100% 로컬 오픈 소스 메모리 엔진으로, 벡터 데이터베이스를 SQLite 지식 그래프와 고차원 벡터 수학으로 대체합니다. 수집(Ingestion) 과정은 LLM 없이 약 5초 만에 진행되며, 300MB 미만의 작은 전문 모델을 사용하여 사실들을 쓰기 전 로그(write ahead logging)가 적용된 관계형 트리플로 저장합니다. 질의할 때, 10,000 차원의 고차원 벡터 게이트는 비트 패킹 SIMD 수학을 사용하여 CPU에서 0.01밀리초 이내에 실행됩니다. 만약 저장된 데이터에 답변이 포함되어 있지 않다면, 모델이 환각(hallucinate)을 일으키기 전에 프롬프트를 차단합니다. 전체 메모리 사용량은 VRAM 1.2 GB 미만이거나 순수 CPU에서 작동합니다. Open WebUI나 AnythingLLM 같은 자체 호스팅 프런트엔드들이 포트 8000의 OpenAI와 호환되는 API 서버를 직접 가리킬 수 있도록 포함되어 있습니다. 코드는 GitHub의 https://github.com/roandejager/Hillock에 있으며, 인터랙티브 문서는 https://hillock.mintlify.site/에 있고, Discord는 https://discord.com/invite/BGUPNBcVdp입니다.