모든 AI 에이전트에게 메모리 레이어(Memory Layer)가 필요한 이유 (그리고 우리가 이를 구축한 방법)

AI 에이전트들은 매달 더 똑똑해지고 있습니다. 하지만 대부분은 여전히 한 가지 치명적인 결함을 가지고 있습니다. 바로 세션이 종료되는 순간 모든 것을 잊어버린다는 점입니다.

저는 해커톤의 밤을 이 문제를 고민하고 해결책을 구축하는 데 보냈습니다. 제가 배운 점은 다음과 같습니다.

금붕어 문제 (The Goldfish Problem)

전화를 끊자마자 모든 고객을 잊어버리는 고객 지원 담당자를 고용했다고 상상해 보세요. 그것이 오늘날 대부분의 AI 에이전트가 처한 상황입니다. 상태가 없는 (Stateless). 기억 상실증에 걸린 (Amnesiac). 답답한 (Frustrating).

해결책은 더 높은 지능이 아닙니다. 바로 메모리 (Memory)입니다.

에이전트 메모리란 무엇인가? (What Is Agent Memory?)

에이전트 메모리는 세션을 넘어 정보를 유지하고 회상하는 능력입니다. 단순한 가공되지 않은 채팅 로그가 아니라, 에이전트가 실제로 사용할 수 있는 구조화된 의미론적 사실 (Semantic facts)을 의미합니다.

세 가지 유형이 있습니다:

• 단기 메모리 (Short-term): 이번 대화에서 일어난 일
• 장기 메모리 (Long-term): 이 고객이 몇 주 또는 몇 달 동안 경험한 것
• 의미론적 메모리 (Semantic): "고객은 이메일 연락을 선호함" 또는 "6월에 환불 문제가 있었음"과 같이 추출된 사실

우리는 SupportMind AI를 위해 이 세 가지가 모두 필요했습니다.

Hindsight는 어떻게 작동하는가 (How Hindsight Works)

Vectorize의 Hindsight는 정확히 이 용도로 구축되었습니다. 여기에는 두 가지 핵심 연산이 있습니다:

retain — 상호작용으로부터 의미론적 메모리를 추출하고 저장함
recall — 쿼리(Query)가 주어졌을 때 관련 메모리를 검색함

마법은 recall에 있습니다. 고객이 새로운 세션을 시작하면, 우리는 고객의 ID와 주제를 사용하여 Hindsight에 쿼리를 보냅니다. Hindsight는 그들의 이력에서 가장 관련 있는 메모리를 반환합니다. 모든 것을 반환하는 것이 아니라, 이번 대화에 중요한 것만을 반환합니다.

결과 (The Result)

지난주에 고장 난 노트북에 대해 불평했던 고객이 돌아와서 "업데이트된 내용 있나요?"라고 말합니다. 에이전트는 이미 노트북에 대해 알고 있습니다. 이미 무엇이 논의되었는지 알고 있습니다. 대화가 중단되었던 지점에서 다시 시작합니다.

이것은 대단한 AI가 아닙니다. 그저 좋은 메모리일 뿐입니다. 하지만 이는 경험을 완전히 바꿔 놓습니다.

다음에 구축할 것 (What I'd Build Next)

다음 단계는 선제적 메모리 (Proactive memory)입니다. 고객이 묻기도 전에 관련 있는 과거 맥락을 제시하는 에이전트입니다. "지난달에 배송 문제가 있었던 것으로 확인됩니다. 교체품은 잘 도착했나요?" 이 지점에서 기술은 정말 흥미로워집니다.

🔗 링크

• Live Demo: https://web-production-ad285.up.railway.app
• GitHub: https://github.com/bodigetejasree/supportmind-ai
• Hindsight docs: https://hindsight.vectorize.io/