Hillock: 로컬 LLM을 위한 뇌에서 영감을 얻은 CPU 기반 메모리 게이트

안녕하세요 여러분,

저는 Hillock이라는 개인적인 로컬 프로젝트를 해킹하듯 개발해 오고 있습니다. 솔직히 말씀드리면 아직 진행 중인 작업이며 대단한 것은 아니지만, 무거운 신경망 벡터 데이터베이스 (neural vector database)를 실행하는 오버헤드 없이, 혹은 소중한 VRAM을 낭비하지 않으면서 로컬 LLM을 위한 경량 오프라인 메모리 레이어를 구축할 수 있을지 확인해보고 싶었습니다.

이 프로젝트의 이름은 생물학적 _Axon Hillock (축삭 언덕)_에서 따왔습니다. 이는 인간 뉴런에서 들어오는 전기적 전하를 합산하여 발화할지(게이트를 열지) 아니면 침묵할지(차단할지)를 결정하는 영역입니다.

스택 작동 방식:

• Hard Facts (SQLite): 원시 사실을 단순한 데이터베이스 트리플 (Subject-Predicate-Object, 주어-술어-목적어) 형태로 저장하여 시스템이 견고한 기호적 토대 (symbolic foundation)를 갖도록 합니다.
• Synapses (Hebbian Plasticity, 헤브식 가소성): 대화 중에 어떤 개념들이 함께 나타나는지 추적하여 동적으로 그래디언트가 없는 (gradient-free) 연상 가중치를 구축합니다.
• Context (Hyperdimensional Computing, 초차원 컴퓨팅): 이력을 회전(roll), 결합(bind), 축적(accumulate)하는 10,000차원의 누수 컨텍스트 벡터 (leaky context vector)를 유지합니다. 이는 시스템이 대명사(예: "그/그녀")를 해결하고, 환각 (hallucinations)을 방지하기 위해 언제 쿼리를 차단할지 결정하는 데 도움을 줍니다.

"더 똑똑한 모델, 더 낮은 점수"의 역설

저는 로컬 하드웨어에서 이 시스템이 어디서 무너지는지 확인하기 위해 복잡한 문장 구조와 어려운 부정 사례 (hard negatives)를 포함한 까다로운 30문장 과학 벤치마크를 작성했습니다.

Qwen 2 (1.5B)를 실행했을 때는 검색 정확도 (Retrieval Accuracy)가 약 50.0% 정도 나왔습니다. 하지만 훨씬 더 똑똑한 Qwen 3 (5.2GB)로 업그레이드했을 때, 점수가 오히려 **15.0%**로 떨어졌습니다!

왜일까요? Qwen 3가 저의 경직된 평가 스크립트에는 너무 표현력이 풍부하기 때문입니다:

• 테스트는 Marie_Curie born_in Poland를 기대했습니다. Qwen 3는 [Marie_Curie] -[spent_childhood_in]-> [Poland]를 추출했습니다.
• 테스트는 Albert_Einstein을 기대했습니다. Qwen 3는 [albert_einstein] (소문자)을 추출하여 정확한 문자열 체크 (exact-string checks)를 깨뜨렸습니다.
• 테스트는 compiler를 기대했습니다. Qwen 3는 [first_compiler]를 추출했습니다.

결과적으로 Qwen 3는 아름답고 매우 정확하며 대화적인 트리플로 데이터베이스를 채웠지만, 경직된 평가 하네스 (evaluation harness)에 의해 감점을 당한 것입니다.

코드베이스는 순수 Python (pure Python)으로 작성되었으며, 완전히 오픈 소스(AGPL-3.0 카피레프트 라이선스 하에 제공)이고, 소비자용 하드웨어에서 완전히 오프라인으로 실행되도록 설계되었습니다.

만약 VSA (Vector Symbolic Architectures), 대안적인 인지 아키텍처 (cognitive architectures)에 관심이 있거나, HDC 컨텍스트 바인딩 (context-binding) 수학 공식에 대한 피드백이 있다면, 꼭 확인해 주시기 바랍니다!

GitHub Repository: https://github.com/roandejager/Hillock