AI 메모리는 누구의 소유도 되어서는 안 되기에, Bittensor 기반의 탈중앙화 벡터 데이터베이스를 구축했습니다
요약
중앙집중화된 벡터 데이터베이스의 벤더 종속성과 데이터 손실 위험을 해결하기 위해 Bittensor 기반의 탈중앙화 벡터 데이터베이스인 Engram을 구축했습니다. Engram은 콘텐츠 주소 지정(content-addressing) 방식을 사용하여 데이터의 영속성을 보장하며, Arweave와 암호화된 저장 증명을 통해 단일 장애점 없는 안전한 AI 메모리 레이어를 제공합니다.
핵심 포인트
- 중앙집중화된 벡터 저장소(Pinecone, Weaviate 등)의 벤더 종속성 및 서비스 중단 위험 지적
- Bittensor 서브넷 450을 활용한 탈중앙화된 벡터 임베딩 저장 및 검색 구조
- SHA-256 CID를 이용한 콘텐츠 주소 지정 방식으로 데이터의 고유성과 영속성 확보
- Arweave 아카이빙과 암호화된 저장 증명을 통한 데이터 무결성 검증
AI 에이전트(AI agents)는 모든 것을 잊어버립니다. 세션이 재시작될 때마다, 재배포될 때마다, 혹은 제공업체를 바꿀 때마다 모든 것이 사라집니다. 우리가 마주한 해결책들은 모두 중앙집중화(centralized)되어 있습니다: Pinecone, Weaviate, Chroma Cloud, AWS OpenSearch. API 지원 중단 한 번, 가격 정책 변경 한 번, 혹은 계정 정지 한 번이면 당신의 전체 메모리 레이어(memory layer)를 잃게 됩니다. 저는 AI를 구축하기 위한 기반이 이토록 취약해서는 안 된다고 생각했기에 Engram을 만들었습니다.
Engram이란 무엇일까요? Engram은 Bittensor 서브넷(subnet) 450에서 실행되는 탈중앙화 벡터 데이터베이스(decentralized vector database)입니다. 이를 통해 텍스트, 이미지, PDF를 영구적이고 콘텐츠 주소 지정(content-addressed) 방식의 벡터 임베딩(vector embeddings)으로 저장할 수 있습니다. 이 데이터는 인센티브를 받는 채굴자(miners)에 의해 검색되고, 암호화된 저장 증명(cryptographic storage proofs)을 통해 검증되며, Arweave에 아카이브됩니다. AWS도 없고, 중앙 권위도 없으며, 단일 장애점(single point of failure)도 없습니다.
핵심 통찰은 IPFS에서 가져왔습니다: 데이터가 어디에 있는지(where it lives)가 아니라, 데이터가 무엇인지(what it is)로 주소를 지정하는 것입니다. Engram의 모든 임베딩은 SHA-256 콘텐츠 식별자(CID)를 부여받습니다. 어떤 채굴자가 저장하든 상관없이, 동일한 입력은 항상 영원히 동일한 CID로 매핑됩니다. v1::a3f9d2e8c7b14f09d6e3... 동일한 텍스트 입력 → 동일한 CID 출력. 언제나 그렇습니다. 이것이 바로 콘텐츠 주소 지정(content addressing)입니다.
중앙집중화된 벡터 저장소의 문제점
만약 당신이 RAG 파이프라인(RAG pipelines)이나 지속성 메모리를 가진 AI 에이전트를 구축하고 있다면, 아마 다음 중 하나를 사용하고 있을 것입니다:
- Pinecone — 독점적(proprietary)이며 규모가 커질수록 비용이 많이 들고, 벤더 종속(locked in)됩니다.
- Weaviate Cloud — 기술력은 탄탄하지만, 여전히 중앙집중화되어 있습니다.
- Chroma / Qdrant — 셀프 호스팅(self-hosted)하기에는 훌륭하지만, 셀프 호스팅이 영구적이지는 않습니다.
더 깊은 문제는 가격이 아닙니다. 바로 신뢰(trust)입니다. 당신은 기업이 다음을 수행할 것이라고 믿어야 합니다:
- 당신의 데이터를 계속 사용할 수 있게 유지할 것
- 약관을 변경하지 않을 것
- 파산하지 않을 것
- 인수되어 서비스가 종료(sunsetted)되지 않을 것
개인 프로젝트라면 괜찮습니다. 하지만 AI 에이전트가 장기적으로 의존해야 하는 인프라라면? 그것은 실질적인 위험입니다.
Engram의 작동 방식
store("The transformer architecture changed everything.") │ ▼ ┌───────────────────────────────┐ │ CID: v1::a3f2b1c4d5e6f7...
│ │ Embedding: [0.02, -0.14, ...]│ │ Stored on: miners 3, 7, 11 │ └───────────────────────────────┘ │ query("how does attention work?") │ ▼ ┌───────────────────────────────┐ │ score: 0.9821 cid: v1::a3f │ │ score: 0.8744 cid: v1::b2e │ │ score: 0.8291 cid: v1::c1d │ └───────────────────────────────┘
수집 (Ingest): 사용자가 텍스트(또는 미리 계산된 벡터)를 전송합니다. Engram은 이를 SHA-256을 사용하여 영구적인 CID로 해싱(hashing)합니다. 동일한 입력은 매번 동일한 CID를 생성합니다.
라우팅 및 복제 (Route & Replicate): Kademlia XOR 라우팅(routing)이 임베딩(embedding)을 적절한 마이너(miners)들에게 결정론적으로 분산합니다. 동일한 CID는 항상 동일한 마이너 세트로 라우팅됩니다.
쿼리 (Query): HNSW 인덱싱 (FAISS 및 Qdrant를 통해)은 대규모 환경에서 50ms 미만의 근사 최근접 이웃 (Approximate Nearest-Neighbor, ANN) 검색을 지원합니다.
저장 증명 (Prove Storage): 검증자(Validators)는 HMAC-SHA256 챌린지-응답 증명(challenge-response proofs)을 발행합니다. 마이너는 실제로 데이터를 보유하고 있음을 증명해야 하며, 그렇지 못할 경우 슬래싱(slashed, 벌칙)을 받습니다. 속임수는 허용되지 않습니다.
인센티브 계층 (The Incentive Layer)
이 부분은 Bittensor가 핵심적인 역할을 수행하는 곳입니다. 마이너는 120초마다 계산되는 복합 점수(composite score)를 기반으로 TAO 방출량(emissions)을 획득합니다:
composite_score = 0.50 × recall@10 + 0.30 × latency_score # 100ms 이하일 때 1.0, 500ms 이상일 때 0.0 + 0.20 × proof_success_rate
저장 챌린지의 50% 이상을 통과하지 못하는 마이너는 가중치(weight)가 0이 되어 방출량을 받지 못합니다. 이는 중앙 운영자의 강제 없이도 네트워크의 정직성을 유지하게 합니다.
Pinecone을 대체할 수 있는 즉시 도입 가능한 솔루션 (Drop-in Replacement for Pinecone)
Python SDK는 기존의 중앙 집중식 벡터 저장소를 사용하던 사용자들에게 익숙하도록 설계되었습니다:
python
pip install engram-subnet
python
from engram.sdk import EngramClient
client = EngramClient("http://127.0.0.1:8091")
텍스트 저장 — 영구적인 CID 반환
cid = client.ingest("The transformer architecture changed everything.")
print(cid) # v1::a3f2b1...
Semantic search results = client.query("how does attention work?", top_k=5) for r in results: print(f"{r['score']:.4f} {r['cid']}") LangChain: python
from engram.sdk.langchain import EngramVectorStore
store = EngramVectorStore( miner_url=" http://127.0.0.1:8091 " embeddings=your_embeddings )
retriever = store.as_retriever(search_kwargs={"k": 5})
LlamaIndex: python
from engram.sdk.llama_index import EngramVectorStore
store = EngramVectorStore(miner_url=" http://127.0.0.1:8091" )
index = VectorStoreIndex.from_documents( documents, storage_context=StorageContext.from_defaults(vector_store=store) )
벡터 스토어를 한 줄로 Engram으로 교체합니다. 그것이 목표입니다.
The Stack Rust core (PyO3) — 컴파일된 Rust에서 CID 생성 및 HMAC 증명 검증. 이러한 작업에 대해 순수 Python보다 10–50배 빠릅니다.
FAISS / Qdrant — HNSW 근사 최근접 이웃 인덱싱
Kademlia DHT — XOR-거리 라우팅. 결정론적입니다. 항상 동일한 CID, 동일한 마이너가 작동합니다.
Bittensor (TAO) — 인센티브 레이어, 온체인 가중치 설정, TAO 발행량
Arweave — 임베딩을 위한 영구 아카이브 스토리지
Next.js — 웹 대시보드 및 플레이그라운드
언어 구성: Python 59%, TypeScript 37%, Rust 4%.
현재 상황 (Where We Are)
Engram은 활성 마이너를 갖춘 테스트넷에서 라이브입니다.
다음 로드맵은 다음과 같습니다:
- Phase: Local Prototype | Timeline: Q1 2026 | Status: ✅ 완료
- Phase: Testnet Alpha | Timeline: Q2 2026 | Status: 🟡 진행 중
- Phase: Mainnet Launch | Timeline: Q3 2026 | Status: 계획됨
- Phase: Ecosystem (LangChain native, OpenAI-compat endpoint) | Timeline: Q4 2026 | Status: 계획됨
- Phase: Scale & Moat (shared agent memory, cross-subnet querying) | Timeline: 2027 | Status: 계획됨
개발 커뮤니티에 필요한 것 (What I Need From The Dev Community)
세 가지가 필요합니다:
- 마이너 (Miners). 만약 주변에 RAM 4GB와 SSD 100GB를 가진 컴퓨터가 있다면, 지금 바로 테스트넷에서 Engram 마이너를 실행할 수 있습니다:
bash<br>git clone https://github.com/Dipraise1/Engram.git<br>cd Engram<br>python3 -m venv .venv<br>.venv/bin/pip install -r requirements.txt<br>.venv/bin/pip install -e .<br><br>2. RAG를 구축하는 개발자 (Developers building RAG). 프로젝트에서 Pinecone, Weaviate 또는 Chroma를 사용하고 있다가 교체해보고 싶다면 — SDK는 이를 수월하게 할 수 있도록 설계되었습니다.
직접 사용해 보시고 무엇이 잘못되는지 알려주세요. 프로토콜에 대한 피드백이 필요합니다. 스코어링 공식 (scoring formula), CID 사양 (CID spec), 증명 메커니즘 (proof mechanism) — 이 모든 것은 공개되어 있으며, 많은 분이 검토해 주시기를 바랍니다. 이슈 (issue)를 생성하거나, 토론 (discussion)을 시작하거나, Discord에 참여해 주세요.
링크 🌐 웹사이트 (Website): theengram.space 💻 GitHub: github.com/Dipraise1/Engram 🎮 플레이그라운드 (Playground): theengram.space/playground 📊 대시보드 (Dashboard): theengram.space/dashboard 💬 Discord: discord.gg/ehpvsyTyJ 📦 문서 (Docs): theengram.space/docs
공개적으로 구축 중입니다 (Built in public). MIT 라이선스 (MIT licensed)를 따릅니다. 피드백을 환영합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기