Credit Genie가 Insights Agent를 사용하여 AI 금융 비서(financial assistant)를 개선한 방법

핵심 요약 (Key Takeaways)

미리 정의된 카테고리 없이 Insights Agent를 실행한 결과, Credit Genie가 예상하지 못했던 사실이 드러났습니다. 바로 기존의 고객 지원 챗봇이 커버하지 못하는 공백이 존재하며, 상당한 양의 고객 지원 요청이 AskGenie로 유입되고 있다는 점이었습니다.
트레이스 분석 (Trace analysis)은 단순한 관측 가능성 (observability)을 넘어 제품 발견 (product discovery)의 도구입니다. Insights Agent가 찾아낸 클러스터 (clusters)는 누락된 기능들과 직접적으로 연결되었고, Credit Genie는 이를 바탕으로 현금 서비스 (cash advance) 상태 조회, 상환 날짜 변경, 채팅 내 지원 요청 기능을 출시했습니다.
Insights Agent를 주간 단위의 정기 워크플로우 (workflow)로 설정함으로써, 일회성 감사를 지속적인 피드백 루프 (feedback loop)로 전환했습니다. 이를 통해 팀은 행동 변화를 조기에 포착하고 제품 반복 (iteration)을 긴밀하게 유지할 수 있는 방법을 확보했습니다.

이 글은 Credit Genie의 AI Engineer인 David Li, Staff AI Engineer인 Jeffrey Ngai, Applied AI Engineer인 Goyo Lozano Palacio, 그리고 AI Engineer인 Charles Yuan이 작성한 게스트 포스트입니다.

Credit Genie 모바일 앱에 AI 금융 비서 추가하기

Credit Genie는 고객이 자신의 재정 상태를 더 깊이 이해할 수 있도록 돕기 위해 노력하고 있습니다. 이를 달성하기 위해 우리는 LangGraph를 사용하여 모바일 앱에 통합된 AI 금융 비서인 AskGenie를 구축했습니다.

AskGenie를 구축하고 출시하는 것은 도전 과제의 절반에 불과했습니다. 출시 이후, 우리는 대응하는 LangSmith 트레이스 (traces)를 분석하여 사용자가 어떻게 상호작용하는지 이해할 방법을 찾아야 했습니다.

이 포스트에서는 LangSmith Insights Agent가 어떻게 이 질문에 대한 답을 찾는 데 도움을 주었는지, 그리고 이러한 학습 내용이 어떻게 AskGenie의 기능을 확장하는 결과로 이어졌는지에 대해 논의합니다.

대규모 고객 상호작용 분석을 위한 Insights Agent 설정

우리는 Insights Agent를 다음 두 가지 구성으로 실행하도록 설정했습니다:

커스텀 프롬프트 (custom prompt)와 4개의 사전 정의된 카테고리를 사용하는 V1 구성
V1과 동일한 프롬프트를 사용하되 카테고리를 지정하지 않은 V2 구성

Insights Agent는 LangSmith 트레이스 (traces) 분석을 통해 카테고리를 자동으로 생성하는 능력을 갖추고 있으며, 우리는 제약이 없는 분석으로부터 서로 다른 인사이트가 도출되는지 관찰하는 데 관심이 있었습니다.

두 구성 모두 Anthropic의 Sonnet 4.5를 사고 모델 (thinking model)로 사용하고, Anthropic의 Haiku 4.5를 요약 모델 (summarization model)로 사용합니다.

Insights Agent의 보고서를 통한 기능적 공백 탐지

흥미롭게도, Insights Agent의 제약이 없는 V2 구성 또한 4개의 카테고리를 생성했습니다. 이렇게 자동 생성된 카테고리들은 AskGenie와 사용자 간의 상호작용에 대해 더욱 미묘하고 상세한 이해를 제공했습니다.

우리는 고객들이 ("Financial Insights" 클러스터가 나타내는 것처럼) 자신의 재무 상태를 탐색하기 위해 AskGenie와 상호작용할 것이라고 예상했지만, 결과에서는 높은 비중의 고객 지원 (customer support) 질문들도 강조되었습니다. 이는 특히 Credit Genie 모바일 앱이 이미 별도의 고객 지원 챗봇을 제공하고 있다는 점을 고려할 때 우리가 예상하지 못했던 부분이었습니다.

이러한 클러스터들을 더 깊이 파고들어 본 결과, 일부 고객들이 Credit Genie으로부터 받은 현금 서비스 (cash advances)의 상환 날짜를 변경하기 위해 AskGenie에 문의한다는 사실이 드러났습니다. 실제로 V1 구성의 결과에서는 "상환 날짜 수정 (Repayment Date Modifications)"이 관련 서브클러스터 (subcluster)로 나타났으며, V2 구성의 결과에도 유사한 "상환 날짜 수정 요청 (Repayment Date Modification Requests)" 서브클러스터가 포함되었습니다.

또한, 사용자들은 자신의 현금 서비스 상태와 잔액을 정기적으로 확인해 달라고 요청한다는 점도 알게 되었습니다 (예를 들어 "서비스 상태 및 추적 (Advance Status and Tracking)" 및 "잔액 및 수수료 질문 (Balance and Fee Questions)" 서브클러스터가 이를 시사합니다).

실제 사용자 행동에 대한 이러한 인사이트는 AskGenie의 기능적 공백을 부각시켰습니다. 즉, 에이전트는 1) 고객에게 현금 서비스에 대한 정보를 제공해야 하며, 2) 상환 날짜를 업데이트할 수 있는 기능을 제공해야 합니다.

공백 메우기

Insights Agent를 통해 배운 내용을 바탕으로, 우리는 사용자의 승인된 현금 서비스 (cash advance) 금액, 현금 서비스 예상 지급일, 예정된 상환 날짜, 그리고 사용자의 현금 서비스 내역을 조회할 수 있는 도구를 추가하여 AskGenie를 개선했습니다.

또한, 고객이 채팅 인터페이스에서 직접 상환 날짜를 수정하거나 새로운 현금 서비스를 신청할 수 있는 방식으로 AskGenie의 기능을 확장했습니다.

마지막으로, 사용자를 별도의 지원 봇 (support bot)으로 재라우팅하는 대신, 고객이 AskGenie를 떠나지 않고도 지원 요청을 제출할 수 있는 인채팅 (in-chat) 팝업 창을 도입했습니다.

Insights Agent를 Credit Genie의 AI 개발 프로세스의 일부로 만들기

Credit Genie에서 Insights Agent는 대규모의 고객 피드백을 해석하고, 이 피드백을 제품 (Product) 팀에 전달하며, 우리의 AI 제품을 반복적으로 개선 (iterate)하는 방식의 필수적인 부분이 되었습니다.

AskGenie의 경우, 이제 우리는 매주 정기적으로 Insights Agent를 실행하여 사용자 행동의 변화나 새롭게 나타나는 트렌드를 관찰하고 그에 따라 대응합니다. 이는 제품의 아이디어 구상, 실험, 그리고 개선의 주기를 더 빠르게 만드는 데 도움이 됩니다.

Credit Genie 소개

Credit Genie는 개인이 자신의 금융 미래를 스스로 관리할 수 있도록 설계된 모바일 우선 (mobile-first) 금융 웰니스 플랫폼입니다. 우리는 AI를 활용하여 개인화된 금융 인사이트를 제공하며, 현금에 즉각적으로 접근할 수 있고 고객의 신용 구축을 돕는 도구와 서비스의 생태계를 구축하고 있습니다. 우리의 목표는 모든 고객이 장기적인 금융 안정성을 달성할 수 있도록 역량을 강화하는 것입니다.

David Li는 Credit Genie의 AI 엔지니어로, 실시간 금융 지능과 원활한 고객 경험을 제공하는 최첨단 에이전트형 AI (agentic AI) 시스템을 개발하고 있습니다. 여가 시간에는 새로운 레스토랑을 탐방하거나, 영상을 편집하거나, 농구 코트에서 시간을 보내곤 합니다.

Jeffrey Ngai는 Credit Genie의 Staff AI Engineer로, 제품과 인프라를 연결하는 고영향력의 프로덕션 준비 완료(production-ready) 솔루션을 제공하는 동시에, 금융 접근성과 사용자 경험을 개선하는 AI 기반 시스템을 구축하고 확장하고 있습니다. 여가 시간에 Jeffrey는 여행을 즐기며, 친구들과 함께 새로운 칵테일 바를 탐방하거나, 새로운 기술과 취미를 배우는 것을 좋아합니다.

Goyo Lozano Palacio는 Credit Genie의 Applied AI Engineer로, 소비자 대상 금융 AI 에이전트(financial AI agents)를 위한 평가 시스템을 설계하고 사내 AI 도입을 촉진하고 있습니다. 업무 외 시간에 Goyo는 새로운 도시를 탐험하고, 맛있는 음식을 찾아다니며, 집에서 새로운 요리 레시피를 실험하곤 합니다. 그는 무언가를 만들거나 살사 댄스와 같이 한 번도 해보지 않은 활동에 도전할 때 가장 몰입합니다.

Charles Yuan은 Credit Genie의 AI Engineer로, 회사의 플래그십 제품인 AskGenie를 포함하여 소비자 대상 AI 시스템을 구축하고 확장하고 있습니다. Charles는 특히 초기 단계의 AI 프로토타입(prototypes)을 대규모로 운영 가능한 견고한 사용자 대상 시스템으로 전환하는 것에 깊은 관심을 가지고 있습니다. 업무 외 시간에 Charles는 독서, 영화 감상, 복싱, 그리고 포켓몬 게임을 즐깁니다.