AI 에이전트가 이전에 도왔던 모든 고객을 잊어버리는 것을 어떻게 막았는가

제가 사용해 본 모든 고객 지원 도구는 동일한 문제를 가지고 있습니다.

문제를 설명하면, 에이전트가 도움을 줍니다. 그리고 다음 주에 후속 질문을 가지고 돌아오면, 에이전트는 당신이 누구인지 전혀 알지 못합니다. 매번, 매번 처음부터 다시 시작해야 합니다.

그것은 지원 에이전트가 아닙니다. 채팅 인터페이스를 갖춘 값비싼 검색창일 뿐입니다.

그래서 저는 실제로 기억하는 것을 — 고객 지원 에이전트 (Customer Support Agent)를 구축했습니다.

우리가 구축한 것

다음과 같은 기능을 갖춘 고객 지원 AI 에이전트입니다:

• 세션 전반에 걸쳐 모든 고객을 기억함
• 대화가 거듭될수록 더 똑똑해짐
• Groq를 사용하여 1초 미만으로 응답함
• 효율적인 모델을 사용하여 비용을 절감함

핵심 스택:

• Groq — 빠른 LLM 응답 (무료 티어)
• Hindsight — 지속적인 에이전트 메모리 (persistent agent memory)
• FastAPI — Python 백엔드
• React — 채팅 프론트엔드

메모리 문제

대부분의 개발자들은 "에이전트 메모리 (agent memory)"라는 말을 들으면 데이터베이스나 벡터 검색 (vector search)을 떠올립니다. 대화를 저장하고 나중에 검색하는 방식이죠. 충분히 간단합니다.

하지만 순수한 검색 (retrieval) 방식에는 한계가 있습니다. 유사한 것을 찾을 뿐, 실제로 관련 있는 것을 찾지는 못합니다. 또한 시간 개념이 없습니다. 3주 전의 사실과 어제의 사실이 동일하게 취급됩니다.

Hindsight는 다른 접근 방식을 취합니다. 이는 구조화된 에이전트 메모리 (structured agent memory)를 기반으로 한 유지(retain)/회상(recall)/성찰(reflect) 아키텍처를 구현합니다.

중요한 일이 발생하면 에이전트는 이를 유지(retain)합니다. 문맥이 필요할 때는 스마트 검색을 사용하여 회상(recall)합니다. 성찰(reflect) 레이어는 새로운 정보가 상황을 바꿀 때 에이전트가 자신의 이해를 업데이트할 수 있게 해줍니다.

작동 방식

고객이 메시지를 보내면 세 가지 단계가 일어납니다:

1단계 — 과거 메모리 회상 (Recall past memories)

memories = client.recall(
    agent_id="support-agent",
    query=user_message,
...

2단계 — 문맥 인식 프롬프트 구축 (Build context-aware prompt)

system_prompt = f"""당신은 고객 지원 에이전트입니다.

이 고객과의 과거 상호작용:
...

3단계 — 이 대화 저장하기 (Save this conversation)

client.retain(
    agent_id="support-agent",
    content=f"고객 질문: {user_message}. 에이전트 답변: {reply}",
...

이것이 전체 루프입니다. 회상(Recall) → 응답(Respond) → 유지(Retain).

전과 후 (The Before and After)

세션 1 — 아직 메모리가 없는 경우:

고객: "제 주문이 지연되고 있어요"
에이전트: "안녕하세요! 안타까운 소식이네요. 주문 번호를 알려주시겠어요?"

세션 5 — Hindsight 메모리가 있는 경우:

고객: "제 주문이 또 지연되고 있어요"

에이전트: "안녕하세요! 지연 문제가 벌써 세 번째 발생한 것을 확인했습니다. 지난번에는 우선 배송(priority shipping)으로 격상하여 문제를 해결했었습니다. 지금 바로 동일하게 처리해 드리고, 앞으로는 고객님의 계정에 프리미엄 지원(premium support) 플래그를 설정해 두겠습니다."

이 차이가 바로 메모리가 하는 역할입니다. 에이전트는 단순히 답변만 한 것이 아닙니다. 기억하고, 점들을 연결하여(connected the dots), 훨씬 더 나은 응답을 제공했습니다.

결과 (Results)

• 응답 시간: Groq 사용 시 1초 미만
• 세션 간 메모리 작동 — 브라우저를 닫고 며칠 후에 돌아와도 에이전트가 여전히 기억함
• 3~5회 상호작용 후 눈에 띄게 더 개인화됨

교훈 (Lessons Learned)

1. 구조 없는 메모리는 노이즈(noise)일 뿐입니다
모든 것을 그냥 저장하지 마세요. Hindsight의 사실 추출(fact extraction) 기능은 실제로 중요한 것만을 필터링합니다.

2. 전/후의 대비가 아이디어를 설득합니다
일반적인 세션 1의 응답과 개인화된 세션 5의 응답을 비교해 보여주면 그 가치가 즉각적으로 명확해집니다.

3. UX를 위해서는 빠른 모델이 중요합니다
Groq의 속도는 에이전트가 반응성이 좋고 살아있는 것처럼 느끼게 합니다. 답변이 완벽하더라도 응답이 느리면 사용자 경험(UX)을 망칩니다.

4. 단순하게 시작하세요
하나의 에이전트, 하나의 워크플로우(workflow), 하나의 명확한 가치. 한 가지 일을 훌륭하게 수행하는 다듬어진 에이전트가 방대한 프로토타입을 매번 이깁니다.

직접 시도해 보세요

GitHub 전체 코드:
https://github.com/jaswanthbuddepu123-hub/customer-support-agent

구축된 도구:

• Hindsight docs
• Hindsight GitHub
• cascadeflow
• cascadeflow docs
• Groq