대부분의 AI 영업 비서들은 회의 내용을 요약하는 데는 탁월합니다. 문제는 다음 회의가 시작되면 모든 것을 잊어버린다는 점입니다.

실제 영업 대화는 몇 주 또는 몇 달에 걸쳐 진행됩니다. 새로운 이해관계자(Stakeholders)가 합류하고, 가격에 대한 이의 제기가 진화하며, 경쟁사가 나타나고, 실행 항목(Action items)이 쌓여갑니다. 만약 AI가 최신 전사 데이터(Transcript)만을 기억한다면, 그것은 진정한 비서가 아닌 단순한 노트 필기 도구에 불과하게 됩니다.

저는 이 문제를 해결하기 위해 DealMind를 구축했습니다.

문제점

전통적인 AI 비서들은 좋은 요약본을 생성하지만, 장기적인 문맥(Context)을 유지하지 못합니다. 영업 담당자들은 여전히 다음과 같은 질문에 답하기 위해 오래된 노트를 뒤져야 합니다:

• 고객이 지난달에 언급했던 가격 관련 우려 사항은 무엇인가?
• 누가 보안 검토(Security review)를 제안했는가?
• 우리가 약속했지만 보내지 못한 후속 조치(Follow-up)는 무엇인가?

저는 사용자가 매번 동일한 문맥을 반복해서 설명할 필요 없이 이러한 질문에 답할 수 있는 비서를 원했습니다.

DealMind 구축하기

워크플로우는 간단합니다:

1. 영업 통화 내용을 녹음하거나 업로드합니다.
2. 대화 내용을 전사(Transcribe)합니다.
3. 구조화된 거래 정보(Structured deal information)를 추출합니다.
4. 중요한 업데이트 사항을 영구적인 메모리(Persistent memory)로 저장합니다.
5. 해당 메모리를 사용하여 개인화된 후속 조치 및 회의 준비 문서를 생성합니다.

모든 대화를 독립적으로 처리하는 대신, DealMind는 각 거래에 대해 점진적으로 확장되는 이해도를 구축합니다.

영구적 메모리가 중요한 이유

DealMind는 단순히 전사 데이터만을 저장하는 대신 다음과 같은 구조화된 정보를 포착합니다:

• 거래 요약 (Deal summary)
• 고객의 이의 제기 (Customer objections)
• 이해관계자 (Stakeholders)
• 경쟁사 (Competitors)
• 약속 사항 (Commitments)
• 감성 (Sentiment)
• 다음 단계 (Next steps)

Hindsight를 사용하여, 에이전트는 중요한 사실을 유지하고 향후 상호작용 중에 이를 회상하며, 더 많은 대화가 진행됨에 따라 응답을 개선할 수 있습니다.

그 결과, 일반적인 응답을 생성하는 대신 이전 논의 내용을 자연스럽게 참조하는 비서가 탄생합니다.

런타임 결정(Runtime Decisions)을 더 스마트하게 만들기

또 다른 과제는 비용과 효율성이었습니다.

모든 작업에 동일한 언어 모델(Language model)이 필요한 것은 아닙니다.

단순한 추출 작업(extraction tasks)은 더 빠르고 비용이 저렴한 모델에서 실행할 수 있는 반면, 고객 대상 이메일 생성은 더 높은 품질의 모델을 통해 이점을 얻을 수 있습니다.

DealMind는 cascadeflow를 사용하여 작업에 따라 요청을 라우팅(routing)하며, 이를 통해 응답 품질을 유지하면서 불필요한 비용을 줄이는 데 도움을 줍니다.

엔드 투 엔드 워크플로우 (End-to-End Workflow)

전체 파이프라인은 다음과 같습니다:

오디오 녹음 / 업로드
↓
음성 전사 (Speech Transcription)
↓
구조화된 거래 추출 (Structured Deal Extraction)
↓
지속성 메모리 (Persistent Memory (Hindsight))
↓
컨텍스트 회상 (Context Recall)
↓
후속 이메일 및 회의 준비
↓
런타임 모델 라우팅 (Runtime Model Routing (cascadeflow))

이러한 아키텍처(architecture)를 통해 어시스턴트는 매 상호작용마다 처음부터 다시 시작하는 대신, 시간이 지남에 따라 개선될 수 있습니다.

변화된 점

지속성 메모리를 추가하기 전에는:

모든 대화가 고립되어 있었습니다.

후속 이메일이 일반적이고 평이하게 느껴졌습니다.

이전의 거절 사유(objections)를 잊어버렸습니다.

메모리를 통합한 후에는:

후속 조치가 이전 논의 내용을 참조합니다.

회의 준비가 더욱 개인화되었습니다.

어시스턴트가 영업 사이클 전반에 걸쳐 연속성을 유지합니다.

배운 점

개발 과정에서 몇 가지 눈에 띄는 점이 있었습니다:

메모리는 더 긴 프롬프트(prompts)보다 더 가치 있습니다.

구조화된 정보는 가공되지 않은 전사 데이터(raw transcripts)보다 재사용하기가 더 쉽습니다.

서로 다른 AI 작업에는 서로 다른 모델이 적합합니다.

UI에서 메모리의 성장을 보여주는 것은 시스템에 대한 신뢰를 훨씬 더 쉽게 구축합니다.

마치며

DealMind를 구축하면서 깨달은 점은 많은 AI 어시스턴트의 가장 큰 한계는 지능이 아니라 메모리라는 사실입니다.

지속성 에이전트 메모리를 위한 Hindsight와 런타임 라우팅을 위한 cascadeflow를 결합함으로써, 어시스턴트는 운영 효율성을 유지하면서도 매 고객 상호작용 이후에 더욱 유용해집니다.

이것이 대화를 요약하기만 하는 AI와 대화를 실제로 기억하는 AI의 차이입니다.