Show HN: 10k PDF 압축하여 LLM 메모리에 1.4GB 영상 생성
요약
Memvid는 AI 에이전트를 위한 혁신적인 단일 파일 메모리 레이어로, 데이터베이스나 복잡한 RAG 파이프라인 없이도 지속적이고 버전 관리되는 장기 기억을 제공합니다. 영상 인코딩에서 영감을 받은 '스마트 프레임' 기반의 설계 덕분에, Memvid는 데이터를 효율적으로 압축하고 시간 순서대로 조직하여 높은 검색 정확도와 초저지연성을 달성했습니다. 이로써 AI 에이전트는 모델이나 인프라에 구애받지 않는 어디서든 사용 가능한 'Rewindable Memory Timeline'을 갖게 됩니다.
핵심 포인트
- **단일 파일 메모리 레이어:** 복잡한 서버 기반 벡터 DB나 RAG 파이프라인 없이도 지속적이고 버전 관리되는 장기 기억을 제공합니다.
- **영상 인코딩 영감 (Smart Frame):** 데이터를 스마트 프레임이라는 불변 단위로 조직하여 효율적인 압축, 병렬 읽기, 그리고 시간 흐름에 따른 지식 진화를 가능하게 합니다.
- **최고 수준의 성능:** LoCoMo 벤치마크에서 높은 정확도를 보였으며, P50/P99 등급에서 초저지연성(sub-10ms)을 자랑합니다.
- **모델 및 인프라 독립적:** 모델 무관하고 오프라인에서도 작동하는 'Living Memory Engine'을 통해 다양한 산업 분야의 AI 에이전트에 적용 가능합니다.
- **다기능 SDK 제공:** Python, Node.js, Rust 등 주요 언어별 SDK와 텍스트 검색(BM25), 벡터 유사성 검색(HNSW), 이미지/오디오 전사 기능 등을 통합 지원합니다.
Memvid 는 AI 에이전트를 위한 단일 파일 메모리 레이어로, 즉시 검색 및 장기 메모리를 제공합니다.
데이터베이스 없이 지속적, 버전 관리된, 이동 가능한 메모리.
Website · Try Sandbox · Docs · Discussions
🚀 다른 어떤 메모리 시스템보다 높은 정확도: LoCoMo 에서 +35% SOTA, 최상급 장기 지평 대화 회상 및 추론
🧠 우수한 다중 홉 및 시간적 추론: 산업 평균 대비 +76% 다중 홉, +56% 시간적
⚡ 대규모에서 초저지연성 0.025ms P50 와 0.075ms P99, 표준보다 1,372 배 높은 처리량
🔬 완전히 재현 가능한 벤치마크: LoCoMo (10 × ~26K 토큰 대화), 오픈소스 평가, LLM-as-Judge
Memvid 는 데이터를 패키지하여 단일 파일로 AI 메모리 시스템을 제공합니다. 임베딩, 검색 구조 및 메타데이터를 포함합니다.
복잡한 RAG 파이프라인이나 서버 기반 벡터 데이터베이스 대신 Memvid 는 파일에서 직접 빠른 검색을 가능하게 합니다.
결과물은 모델 무관하고 인프라 없이 AI 에이전트가 어디든 가져갈 수 있는 지속적 장기 메모리 레이어입니다.
Memvid 는 영상 인코딩에서 영감을 받았습니다. 영상을 저장하기 위한 것이 아니라, 스마트 프레임의 추가 전용, 초효율 시퀀스로 AI 메모리를 조직합니다.
Smart Frame 은 콘텐츠와 함께 타임스탬프, 체크섬 및 기본 메타데이터를 저장하는 불변 단위입니다. 프레임을 효율적인 압축, 인덱싱 및 병렬 읽기에 허용하는 방식으로 그룹화합니다.
이 프레임 기반 설계는 다음을 가능하게 합니다:
- 기존 데이터 수정 또는 손상 없이 추가 전용 쓰기
- 과거 메모리 상태에 대한 쿼리
- 지식 진화에 대한 타임라인 스타일 검사
- 제출된 불변 프레임을 통한 충돌 안전성
- 영상 인코딩에서 적응된 기법을 사용한 효율적인 압축
결과물은 AI 시스템의 rewindable 메모리 타임라인과 같은 단일 파일입니다.
- Living Memory Engine 세션 간 메모리를 계속 추가, 분기 및 진화합니다.
- **Capsule Context (**Self-contained, shareable memory capsules with rules and expiry.
mv2) - Time-Travel Debugging 메모리 상태를 rewind, replay 또는 branch 합니다.
- Smart Recall 예측 캐싱을 통한 sub-5ms 로컬 메모리 접근.
- Codec Intelligence 시간이 지나면서 압축을 자동 선택 및 업그레이드합니다.
Memvid 는 지속적 메모리와 빠른 회상을 제공하는 서버리스 메모리 레이어입니다. 모델 무관하고, 멀티모달이며 완전히 오프라인으로 작동하므로 개발자는 Memvid 를 다양한 실제 응용 프로그램에 걸쳐 사용합니다.
- Long-Running AI Agents
- Enterprise Knowledge Bases
- Offline-First AI Systems
- Codebase Understanding
- Customer Support Agents
- Workflow Automation
- Sales and Marketing Copilots
- Personal Knowledge Assistants
- Medical, Legal, and Financial Agents
- Auditable and Debuggable AI Workflows
- Custom Applications
귀하의 선호 언어로 Memvid 를 사용하세요:
| Package | Install | Links |
|---|---|---|
| CLI | ||
npm install -g memvid-cli | ||
| Node.js SDK | ||
npm install @memvid/sdk | ||
| Python SDK | ||
pip install memvid-sdk | ||
| Rust | ||
cargo add memvid-core |
Rust 1.85.0+— rustup.rs 에서 설치
[dependencies]
memvid-core = "2.0"
| Feature | Description |
|---|---|
lex | |
| BM25 랭킹 (Tantivy) 을 사용한 풀 텍스트 검색 | |
pdf_extract | |
| 순수 Rust PDF 텍스트 추출 | |
vec | |
| 벡터 유사성 검색 (HNSW + 로컬 텍스트 임베딩을 통한 ONNX) | |
clip | |
| 이미지 검색을 위한 CLIP 시각적 임베딩 | |
whisper | |
| Whisper 를 사용한 오디오 전사 | |
api_embed | |
| 클라우드 API 임베딩 (OpenAI) | |
temporal_track | |
| 자연어 날짜 파싱 ("지난 화요일") | |
parallel_segments | |
| 멀티스레드 인게스트 | |
encryption | |
| 비밀번호 기반 암호화 캡슐 (.mv2e) | |
symspell_cleanup | |
| 강력한 PDF 텍스트 복구 ("emp lo yee" -> "employee" 수정) |
필요한 기능을 활성화하세요:
[dependencies]
memvid-core = { version = "2.0", features = ["lex", "vec", "temporal_track"] }
use memvid_core::{Memvid, PutOptions, SearchRequest};
fn main() -> memvid_core::Result<()> {
// Create a new memory file
...
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기