내가 '망각하는 메모리'를 만든 이유

내가 시도해 본 모든 AI 메모리 도구들은 동일한 형태를 띠고 있었습니다. 대화에서 사실을 추출하고, 그 모든 것을 저장하며, 지능을 검색 (Retrieval) 단계에 두는 방식입니다. 데모에서는 작동하지만, 실제 서비스 (Production) 환경에서는 부패합니다. 사용하면 할수록 오래된 값, 모순, 그리고 불필요한 내용 (Filler)이 쌓이게 되고, 노이즈 속에서 현재의 정답을 찾기 위해 검색 엔진이 더 힘들게 작동해야 합니다.

그래서 나는 반대의 도박을 해보았습니다. 지능을 쓰기 단계 (Write time)에 배치하는 것입니다. 정보가 들어오는 즉시 무엇을 유지할 가치가 있는지 결정합니다. 학위, 교대 근무 일정, 방금 수정한 번호와 같이 지속 가능하고 정답을 담고 있는 사실들은 유지합니다. 잡담은 쇠퇴하게 둡니다. 그리고 값이 변경되면, 두 값을 모두 저장한 뒤 나중에 검색 단계에서 맞추기를 기대하는 대신, 그 즉시 이전 값을 교체합니다.

내가 신경 썼던 부분은 적게 유지하는 것이 실제로 비용을 발생시키느냐는 점이었습니다. LongMemEval에서 동일한 답변 모델과 동일한 판정 모델을 사용해 mem0와 정면 승부를 벌였을 때, 비용은 발생하지 않았습니다. 수동 검증된 데이터셋에서 25개 중 14개 대 12개로 앞섰으며, 6가지 질문 유형 전체를 아우르는 더 넓은 30개 질문 세트에서는 57%의 성적을 거두었습니다. 그러면서도 사실 정보는 0.49배만 저장했습니다. 저장소가 작고 깨끗하기 때문에 CPU 환경에서도 검색 (Retrieval) 속도는 약 6ms를 유지합니다.

공짜는 아닙니다. Enki에게 그것이 불필요하다고 판단한 것에 대해 순수한 에피소드적 세부 사항 (Episodic-detail) 질문을 던지면 정보는 사라져 있습니다. 모든 것을 저장하는 방식이 그런 질문에서는 승리합니다. 나는 이것이 실제로 함께 생활하는 어시스턴트에게는 올바른 트레이드오프 (Trade-off)라고 생각하지만, 이는 분명한 실재하는 문제이며, 나는 이를 숨기기보다 보여주고 싶었습니다.

아직 초기 단계입니다. 1인 창업자이며, 표본 크기(N)가 작고, 폐쇄형 엔진(해당 방법은 특허 출원 중)을 사용하며, 저장 및 검색을 위해 로컬에서 실행되지만 몇몇 단계에서는 호스팅된 모델에 접근하는 메모리 레이어(Memory layer)를 가지고 있습니다. 다음 이정표는 이 마지막 격차를 줄여 전체 시스템이 사용자의 자체 하드웨어에서 실행될 수 있도록 하는 것입니다.

벤치마크 결과와 고정된 데모는 공개되어 있습니다: github.com/stephen487/enki-benchmarks. 만약 이 분야의 일을 하고 계신다면, 진심으로 토론하고 싶습니다 — steve@enkilabs.co.uk.