PVM: 모든 LLM에 장기 기억을 부여하다. API 키도, GPU도 필요 없습니다 (~파이썬 800줄).
지금까지 사용해 본 모든 LLM은 건망증 환자입니다.
ChatGPT는 세션 사이에 당신의 이름을 잊습니다. Cursor는 하룻밤 사이에 프로젝트 규칙을 잊습니다. Claude는 팀이 세 번 대화 전에 내린 결정을 잊습니다. 이것은 버그가 아니라 아키텍처 문제입니다. LLM은 상태를 유지하지 못합니다(stateless). 모든 대화는 제로에서 시작합니다.
업계의 해답은 RAG였습니다. 관련 컨텍스트를 검색하여 프롬프트에 넣고, 모델이 알아서 처리하기를 기대하는 방식입니다. 이는 간단한 질의응답(Q&A)에는 대부분 작동하지만, 정보가 _변화_할 때는 무너집니다.
'그냥 검색해라'의 문제점
RAG는 기억을 검색 문제로 취급합니다: 모든 것을 벡터에 인코딩하고, 가장
시간 가중 감쇠(Temporal weight decay). 69일 동안 접근하지 않은 기억은 가중치가 절반으로 줄어듭니다. 1년 동안 접근하지 않았다면? 바닥으로 가라앉습니다. 만료 규칙을 직접 작성할 필요가 없습니다. 시간이 처리합니다.
델타 규칙 보정(Delta Rule calibration). 사용자가 기억을 확인하면 → 가중치가 올라갑니다. 사용자가 수정하면 → 가중치가 내려갑니다. 이것은 1960년대의 Widrow-Hoff Delta Rule입니다. 빼기 한 번, 곱하기 한 번, 더하기 한 번. O(1) 복잡도입니다. GPU가 필요하지 않습니다. 배치 학습도 필요 없습니다. 다섯 번 확인하면 가중치는 0.50에서 0.61로 이동합니다. 다섯 번 수정하면 0.39로 떨어집니다.
모호한 귀속(Fuzzy attribution). 여러 기억이 일치하고 어느 하나가 명확하게 맞지 않을 때, PVM은 추측하지 않습니다. 대신 이렇게 알려줍니다: _
제가 혼자 만들었습니다. 회사가 아닙니다. 영업팀도, 자금 지원도, 기업용 지원도 없습니다. 코드는 오픈 소스입니다 (BSL → MIT 2030). 유용하다면 사용해 주세요. 버그를 발견하면 이슈를 열어주세요. 이 위에 무언가를 구축하고 싶다면 마음껏 하셔도 됩니다.
아키텍처를 설명하는 논문은 SSRN과 GitHub 저장소에 있습니다.
Wenhui Tian은 독립 연구원입니다. 그는 인과 추론, 메모리 시스템, 그리고 경제학과 AI의 교차점에 대해 연구합니다. [email protected]으로 연락할 수 있습니다.