금융 서비스에서 에이전트 AI의 투자수익률(ROI) 입증하기 | LangChain

금융 서비스 분야의 모든 CIO와 혁신 책임자들은 이사회로부터 같은 질문을 받고 있습니다: "우리는 AI에 수백만 달러를 쓰고 있는데, 무엇을 돌려받고 있는가?"

이것은 당연한 질문입니다. 그리고 지금 당장, 대부분의 팀은 숫자로 답할 수 없습니다.

문제는 에이전트 AI가 작동하지 않는 것이 아닙니다. 다중 에이전트 시스템(Multi-agent systems)은 이미 제안요청서(RFP)를 처리하고, 규정 준수(compliance)를 모니터링하며, 산업 전반의 문서 워크플로우를 자동화하고 있습니다. 문제는 이러한 시스템의 경제성이 기업들이 이전에 관리했던 어떤 것과 근본적으로 다르다는 것입니다. 에이전트가 자율적으로 데이터베이스에 쿼리하거나, 외부 API를 호출하거나, 추론을 개선하기 위해 루프백(loop back)한 다음, 두 번째 에이전트에게 작업을 넘기는 경우, 그 비용은 단순한 항목이 아닙니다. 그것은 전통적인 FinOps 도구들이 처리하도록 설계되지 않은 역동적이고 다변수 방정식입니다.

본 게시물에서는 이 문제를 해결하는 방법을 안내합니다. 저희는 두 가지 실제 금융 서비스 사용 사례—RFP 처리와 자금세탁방지(AML) 규정 준수 모니터링—를 보여주고, 중요한 비즈니스 핵심성과지표(KPI), 이를 추적하는 방법, 그리고 리더십 팀에게 ROI를 입증하기 위해 관측 가능성(observability) 및 거버넌스 인프라를 구축하는 방법을 분석할 것입니다.

저희는 이 문제를 해결하려면 두 가지가 함께 작동해야 하므로 공동으로 글을 작성합니다: 에이전트를 구축, 디버깅 및 최적화하기 위한 엔지니어링 플랫폼(LangChain, LangSmith, LangGraph)과 그 비즈니스 가치를 측정하고 비용을 관리하는 경제 지능 플랫폼(Pay-i)입니다.

실제 비용 과제: 전통적인 모니터링이 부족한 이유

만약 다중 에이전트 시스템을 구축했다면, 이미 비용 구조가 전통적인 SaaS 애플리케이션과 전혀 다르다는 것을 알고 있을 것입니다. 단일 에이전트 호출은 여러 공급업체의 다양한 LLM 호출, 내부 및 외부 API에 대한 도구 호출(tool calls), 재시도 및 추론 루프, 오케스트레이션 오버헤드 등을 포함할 수 있으며—이 모든 것이 실행마다 다릅니다.

LangSmith는 엔지니어링 팀에게 이러한 복잡성에 대한 완벽한 가시성을 제공합니다. 모든 에이전트 실행은 트레이스(trace)로 캡처됩니다—모든 LLM 호출, 도구 호출, 그리고 중간 단계의 완전한 기록입니다. LangSmith의 비용 추적 기능은 모델 및 공급업체별로 분해된 토큰 사용량과 지출액을 자동으로 계산합니다. 사전 구축된 대시보드는 시간이 지남에 따른 총비용, 지연 시간(latency), 오류율, 그리고 토큰 사용량 추세를 보여줍니다. 또한 사용자 팀에게 중요한 모든 차원—예를 들어 모델이나 사용자 세그먼트별로—으로 데이터를 분할하여 볼 수 있는 맞춤형 대시보드도 제공합니다.

하지만 엔지니어링 수준의 관측 가능성(observability)만으로는 알 수 없는 것이 있습니다. 이 에이전트가 실제로 비즈니스 가치를 창출하고 있느냐는 것입니다. 바로 여기에 Pay-i가 등장합니다. Pay-i는 여러 에이전트를 아우르며 모든 GenAI 사용 사례의 비용을 측정 가능한 비즈니스 결과와 연결합니다. 특정 워크플로우에 '성공'이 무엇을 구성하는지 조사하고 식별합니다. 그런 다음 업계에 적합한 목표를 가진 비즈니스 핵심 성과 지표(KPI)를 정의하고, 해당 KPI에서 사용 사례가 실시간으로 어떻게 점수를 얻고 있는지 추적합니다. 실제 비즈니스 측정 기준을 사용하여 절약된 시간이나 창출된 가치 측면에서 귀하의 비즈니스에 미치는 영향을 정량화하며, ROI를 개선할 수 있는 즉각적인 제안을 제공합니다.

이러한 플랫폼들이 함께 '이 에이전트가 무엇을 하고 있나?'와 '이 에이전트가 얼마만큼 가치가 있나?' 사이의 연결 고리를 완성합니다.

사용 사례 1: RFP 처리 자동화

비즈니스 문제

금융 서비스 기관들은 기업 및 기관 고객들로부터 끊임없이 RFP(Request for Proposal, 제안 요청서)를 받습니다. 각 RFP는 PDF, Word 문서, 부록 등의 패키지 형태로 도착하며, 컴플라이언스(Compliance), 리스크(Risk), 인포섹(InfoSec), 법무(Legal), 제품 등 여러 분야의 SME(Subject Matter Experts, 주제 전문가)들이 검토하고, 정확하게 구조화되고 완전히 인용된 응답을 요구합니다.

오늘날 이 과정은 거의 전적으로 수작업으로 이루어집니다. 제안 팀은 RFP(Request for Proposal)를 읽고 요구사항을 내부 역량과 매핑하며, 답변 초안을 작성하고, SME(Subject Matter Experts, 주제 전문가)들의 검토를 요청하며, 최종 제출물을 조립합니다. 단 하나의 복잡한 RFP만 여러 부서에 걸쳐 수백 시간을 소모할 수 있습니다. 여기에 기관들이 처리하는 물량을 곱하면, 조직 내 가장 큰 숨겨진 인건비 중 하나를 마주하게 됩니다.

LangChain과 LangGraph로 구축된 에이전트 시스템은 이러한 무거운 작업을 자동화할 수 있습니다: RFP 패키지를 가져와(ingesting), 요구사항을 추출하고, 승인된 내부 콘텐츠에 매핑하며, 출처 문서 인용이 포함된 구조화된 답변 초안을 생성하고, 인간의 검토가 필요한 격차를 표시합니다. 인간 SME는 여전히 최종 승인을 담당하지만, 처음부터 시작하는 대신 제출 준비가 이미 65% 완료된 초안을 검토하고 다듬기만 하면 됩니다.

중요한 KPI(핵심 성과 지표)

Pay-i는 RFP 사용 사례에서 에이전트의 실행 상황을 모니터링하고, 주석 처리된 연구를 바탕으로 적용 가능한 KPI와 업계 벤치마크 목표를 동적으로 결정할 것입니다. 또한 자체 KPI를 지정할 수 있으며, 그중 일부는 Pay-i가 자동으로 점수를 매길 수 있고, 다른 일부는 기존 시스템에서 데이터를 수집할 수 있습니다. RFP 사용 사례의 몇 가지 예시 KPI에는 다음이 포함될 수 있습니다:

요구사항 추출 정확도 (유형: 백분율, 목표: 95%). 에이전트가 들어오는 RFP 패키지에서 올바르게 식별하고 추출하는 핵심 요구사항(범위, 서비스 수준, 가격 책정 형식, 보안 조항, 규제 조항)의 비율입니다. 최신 문서 AI 벤치마크는 구조화된 추출에 대해 일관되게 90–99%의 정확도를 보여줍니다. 금융 서비스 RFP의 경우, 에이전트가 재작업을 만드는 대신 시간을 절약하는 기준점은 95%입니다.

주요 수정 없이 응답 초안 승인율 (유형: Boolean, 목표: 65%). AI가 생성한 초안이 실무 전문가(SME) 검토를 거치면서 상당한 재작업을 요구하지 않고 통과하는지 여부입니다. 선도적인 AI RFP 도구에 대한 업계 데이터에 따르면, 제안서 관리자가 검토했을 때 AI가 생성한 답변 중 60–66%는 수정이 필요하지 않습니다. 규정 준수 정확도가 중요한 금융 서비스의 경우, 65%는 적절한 인간 감독을 유지하면서도 의미 있는 생산성 향상을 나타냅니다.

실무 전문가(SME) 검토자 만족도 (유형: Likert5, 목표: 4.0/5.0). 규정 준수(Compliance), 위험(Risk), 정보 보안(InfoSec), 법률(Legal), 제품(Product) 검토자들이 전반적인 품질, 인용 정확성, 그리고 해당 초안이 워크플로우에 얼마나 유용한지에 대해 매기는 Likert 척도 평점입니다. SME가 결과물을 신뢰하지 못하면 처음부터 작업을 다시 하게 되며, 기술적 정확성과 관계없이 에이전트는 아무런 가치를 제공할 수 없습니다.

출처 인용 완전성 (유형: 백분율(Percentage), 목표: 95%). 응답의 모든 실질적인 주장이 특정 내부 출처 문서로 추적 가능한 인용을 포함하는지 여부입니다. 이는 신뢰도 및 감사 요구사항입니다. 금융 서비스 RFP에서 보안 통제나 규정 준수에 대한 근거 없는 주장은 법적 책임을 초래할 수 있습니다.

이러한 핵심 성과 지표(KPI)가 CIO에게 중요한 이유

이것들은 엔지니어링 측정 기준이 아니라 비즈니스 측정 기준입니다. 요구사항 추출 정확도, 응답 초안 승인율, 출처 인용 완전성은 노동력 절감 및 수주율과 직접적인 상관관계를 가집니다. 주요 수정 없이 통과하는 모든 초안은 수십 시간의 SME 작업 시간을 회복할 수 있음을 의미합니다. 또한, 조작된 콘텐츠 및 인용 KPI는 규정 준수 노출 위험을 달러 단위로 직접 변환시키는 위험 측정 기준입니다.

Pay-i는 관련된 모든 에이전트와 리소스 전체 사용 사례 비용 대비 이러한 모든 KPI를 추적합니다. 또한, Pay-i는 에이전트 버전을 모니터링하여 변환 팀이 모델 교체나 프롬프트 변경이 비용과 비즈니스 성과 모두에 어떻게 영향을 미쳤는지 정확히 확인할 수 있도록 합니다. 이후 Pay-i는 귀사의 비즈니스 부문을 조사하여 “가치 정책(Value Policy)”을 정의하고, 사용 사례에 대한 KPI 데이터와 지표를 정량화된 비즈니스 가치 및 시간 절약으로 변환합니다.

CIO가

Pay-i가 귀사의 비즈니스와 필요에 맞춰 제안된 KPI를 조정할 것이지만, 다음은 AML(자금세탁방지) 준수 모니터링에 적용될 수 있는 몇 가지 예시 KPI입니다:

오탐 감소율 (False positive reduction rate) (유형: 백분율, 목표: 60% 감소). 에이전트 분류 후 전체 수동 조사가 필요한 경고의 비율 감소. 60% 감소는 매월 분석가 시간 수백 시간을 절약할 수 있음을 의미합니다. 이것이 시스템에 대한 주요 비용 정당화 근거입니다.

평균 조사 시간 (Average investigation time) (유형: 숫자(분), 목표: 50% 감소). 경고 생성부터 분석가 검토가 여전히 필요한 사례의 완료된 조사를 마칠 때까지 걸리는 시간. 에이전트는 상황별 데이터를 미리 수집하고, 거래 패턴을 요약하며, 관련 위험 요소를 강조하여 이 시간을 단축시키는데, 이는 분석가가 빈 화면 대신 브리핑 자료를 가지고 시작할 수 있게 합니다.

SAR 초안 품질 점수 (SAR draft quality score) (유형: 리커트5점 척도, 목표: 4.0/5.0). 에이전트가 생성한 SAR(Suspicious Activity Report) 초안의 완전성, 정확성 및 규제 준수에 대한 검토자 평점. 잘 작성된 SAR은 신고 건당 컴플라이언스 팀의 문서 작업 시간을 절약하는 동시에 기관이 규제 의무를 충족하도록 보장합니다.

규제 감사 준비 상태 (Regulatory audit readiness) (유형: 부울, 목표: 95%). 에이전트의 조사 문서(추론 과정, 접근된 데이터 출처 및 도출된 결론)가 규제 검사에 필요한 표준을 충족하는지 여부. 규제 기관은 단순히 올바른 결과만을 원하는 것이 아닙니다. 그들은 문서화되고 방어 가능한 프로세스를 원합니다.

이러한 KPI가 CIO에게 중요한 이유

AML 컴플라이언스는 비용 센터이자 리스크 기능입니다. CIO와 트랜스포메이션 책임자는 에이전트 기반 자동화가 규제 노출을 증가시키지 않으면서 운영 비용을 줄인다는 것을 입증해야 합니다. 동시에, 이 프로세스가 완전히 자동화되기는 어려우며 지속적인 인간의 감독이 필요합니다. 따라서 이 사용 사례의 ‘가치’는 실제로 에이전트의 작업을 검토하고 모든 것을 처음부터 작성하는 대신 작은 수정만 하는 인간 담당자에게 얼마나 많은 시간을 절약해 주는지에 있습니다. Pay-i는 귀사 직원들이 각 작업을 수행하는 데 일반적으로 걸리는 시간과, 모든 에이전트가 전체 사용 사례에서 실행되는 데 걸리는 시간, 그리고 그 후의 인간 검토 및 수정을 고려하여 이러한 시간 절약을 정량화할 수 있습니다.

내부 구조: 멀티-에이전트 아키텍처

두 사용 사례 모두 멀티-에이전트 시스템으로 구현됩니다. 이는 단일 거대 LLM 호출에 의존하기보다는, 추론하고 작업을 인계하며 협업하는 전문화된 에이전트 팀들로 구성되어 있습니다.

LangChain, LangGraph, 그리고 LangSmith를 활용하여 구축

LangGraph는 상태 저장 그래프(stateful graphs) 형태로 에이전트 워크플로우를 오케스트레이션합니다. 각 노드는 전문화된 에이전트 또는 도구 호출을 나타내며, 조건부 엣지(conditional edges)가 에이전트의 추론에 따라 경로를 지정합니다. RFP 사용 사례의 경우, 이는 요구사항 추출 에이전트, 콘텐츠 매핑 에이전트, 초안 생성 에이전트, 그리고 격차 탐지 에이전트로 구성되며, 각각 자체 도구와 프롬프트를 가지고 공유된 상태(shared state)를 통해 조정됩니다.

LangSmith는 이러한 복잡한 워크플로우를 디버깅하고 최적화할 수 있게 해주는 관측 가능성 계층(observability layer)을 제공합니다: