Letta 사용기 – AI 에이전트에게 실제 메모리 부여하기

최근 저는 Letta를 가지고 이것저것 테스트해 보고 있습니다. Letta는 GitHub에서 주목받고 있는 AI 에이전트용 오픈 소스 메모리 엔진 (memory engine)입니다. 아이디어는 매우 간단합니다. AI 에이전트에게 지속적인 메모리 (persistent memory)를 부여하여, 프로세스를 재시작할 때마다 모든 것을 잊어버리지 않게 하는 것입니다.

대부분의 AI 데모 프로젝트는 근본적인 문제를 안고 있습니다. 처음 5분 동안은 화려해 보이지만, 프로세스를 재시작하면 마치 치매 환자와 대화하는 것과 같은 상태가 됩니다. Letta는 에이전트가 세션 (sessions)을 넘나들며 메모리를 저장하고 검색할 수 있게 함으로써 이 문제를 해결하려고 시도합니다.

저는 pip install letta-client로 설치를 진행하고, 대시보드에서 API 키를 가져와서 약 15분 만에 메모리 기능이 작동하는 기본적인 에이전트를 구축했습니다. 에이전트가 무엇을 "기억"해야 하는지 정의할 수 있는데, 사용자의 선호도에 관한 사실이나 진행 중인 프로젝트 등 무엇이든 가능합니다. 그다음 다음에 다시 채팅을 할 때, 에이전트는 관련 문맥 (context)을 불러오기 때문에 처음부터 다시 시작할 필요가 없습니다.

가장 적합한 용도는 여러 대화에 걸쳐 지속되는 작업들로 보입니다. 저는 몇 주에 걸쳐 코딩 프로젝트를 추적하는 데 도움을 주는 에이전트를 하나 만들었는데, 이 에이전트는 제가 어떤 라이브러리 (libraries)를 사용했는지, 테스트 중에 무엇이 실패했는지 등 Slack 메시지나 무작위 텍스트 파일 속에서 사라지기 쉬운 일반적인 사항들을 기억합니다.

솔직히 말해서, 오래된 메모리를 가져올 때 발생하는 지연 시간 (latency)은 짜증이 날 수 있습니다. 1~2초 정도 기다리게 되는 것이 느껴질 정도인데, 짧은 시간처럼 들리지만 흐름 (flow)을 깨뜨립니다. 그리고 관리자 인터페이스 (admin interface)는 개선의 여지가 있습니다. 기능적이긴 하지만 확실히 초기 단계의 기술 (early-stage tech)입니다.

아직 몇 달 동안 스트레스 테스트 (stress-test)를 해본 것은 아니기에, 시간이 지남에 따라 메모리가 저하되거나 노이즈 (noisy)가 발생하는지는 말할 수 없습니다. 제 추측으로는 하드 드라이브의 조각 모음 (defragmenting)처럼 주기적인 정리 작업이 도움이 될 것 같지만, 이는 단지 추측일 뿐입니다. 만약 일회성 질의응답 (Q&A) 챗봇 이상의 무언가를 구축하고 있다면, 이 방식은 모든 것을 시스템 프롬프트 (system prompt)에 쑤셔 넣는 것보다 훨씬 유망합니다.