매일 6개월간의 개발 끝에, 환각 현상 없이 1.2GB VRAM 이하에서 실행되는 로컬 신경-기호 메모리 엔진 Hillock v1.0 스테이블

만약 사용자가 자체 호스팅(self-host)하는 로컬 AI 도구를 사용한다면, 메모리 레이어를 설정하는 것이 얼마나 번거로운지 아마 알고 계실 겁니다. 대부분의 최신 설정은 단지 몇 개의 텍스트 문서를 저장하기 위해서도 기가바이트 단위의 RAM을 잡아먹는 전용 벡터 데이터베이스(vector databases)를 실행하는 여러 개의 무거운 Docker 컨테이너를 구동할 것을 요구합니다. 저는 지난 6개월 동안 Hillock을 개발하여 이 전체 스택을 단일하고 초고속인 SQLite 데이터베이스와 순수 CPU 연산으로 대체했으며, v1.0.0 스테이블 버전이 오늘 공식 출시되었습니다. Hillock은 완전히 자체 포함(self-contained)되도록 설계되었습니다. 모든 사실, 관계형 링크, 그리고 연관 시냅스 가중치(associative synaptic weights)를 표준 SQLite 파일에 직접 저장하며, 빠른 동시 읽기 및 쓰기를 위해 Write-Ahead Logging을 사용합니다. AI가 지어내는 내용을 방지하기 위해, 쿼리 컨텍스트를 하이퍼차원 비트 벡터(hyperdimensional bit vectors)로 압축하고 CPU에서 하드웨어 수준의 popcount 검사를 실행합니다. 전체 메모리 엔진은 1.2GB VRAM 이하를 유지하며 GPU가 전혀 필요 없이 노트북 CPU만으로 순수하게 실행될 수 있습니다. 이 엔진은 포트 8000에서 표준 OpenAI와 호환되는 API를 노출하므로, AnythingLLM이나 사용자 지정 챗봇과 같은 기존 자체 호스팅 인터페이스에 코드를 변경할 필요 없이 직접 연결할 수 있습니다. 내장 스트리밍 기능, 로컬 엔티티 검사 명령어, 그리고 외부 원격 측정(telemetry) 또는 클라우드 추적은 전혀 없습니다. 저는 이 시스템을 안정적이고 신뢰할 수 있으며 완전히 오프라인으로 만들기 위해 지난 반년 동안 수백 시간을 투자했습니다. 만약 홈 서버를 느리게 만들지 않는 가벼운 메모리 엔진을 원하신다면, GitHub에서 확인해 보세요. 레포지토리에 별점을 하나 남겨주시면 이 프로젝트가 주목받는 데 큰 도움이 됩니다: https://github.com/roandejager/Hillock submitted by /u/Equivalent-Flan-1590 [link] [comments]