메모리가 내 사기 조사 에이전트의 동작 방식을 어떻게 변화시켰는가

서론

전통적인 사기 탐지 시스템 (Fraud detection systems)은 의심스러운 거래를 식별하는 데 매우 뛰어나지만, 한 가지 주요한 한계점을 갖는 경우가 많습니다. 바로 '기억하지 못한다'는 점입니다. 유사한 사기 패턴이 이전에 수백 번 관찰되었음에도 불구하고, 모든 거래는 독립적으로 평가됩니다.

실제 금융 조사 현장에서 인간 분석가들은 과거의 지식에 크게 의존합니다. 의심스러운 거래를 마주했을 때, 그들은 본능적으로 이를 이전 사례, 알려진 사기 패턴, 고객 행동 및 조사 결과와 비교합니다. 과거의 경험으로부터 학습하는 이러한 능력 덕분에 분석가들은 시간이 지남에 따라 더 빠르고 정확한 결정을 내릴 수 있습니다.

저는 AI 기반의 사기 조사 시스템이 이와 동일한 일을 수행할 수 있다면 어떤 일이 벌어질지 탐구해보고 싶었습니다.

단순히 또 다른 사기 점수 모델 (Fraud scoring model)을 만드는 대신, 저는 이전 조사를 기억하고, 관련 사례를 회상하며, 축적된 지식을 통해 의사결정 프로세스를 개선할 수 있는 금융 리스크 인텔리전스 에이전트 (Financial Risk Intelligence Agent)를 구축하는 데 집중했습니다. 그 결과, 전통적인 사기 탐지 파이프라인 (Fraud detection pipeline)과는 매우 다르게 동작하는 메모리 기반의 조사 워크플로 (Investigation workflow)가 탄생했습니다.

이 글에서는 시스템을 구축하는 동안 겪었던 문제, 아키텍처 (Architecture), 메모리 시스템 (Memory system), 조사 워크플로 및 주요 교훈에 대해 설명합니다.

전통적인 사기 탐지의 문제점

대부분의 사기 탐지 플랫폼은 다음과 같은 단순한 프로세스를 따릅니다:

1. 거래가 시스템에 진입합니다.
2. 머신러닝 (Machine learning) 모델이 리스크 점수를 생성합니다.
3. 규칙 엔진 (Rules engine)이 알려진 조건들을 평가합니다.
4. 리스크가 임계값 (Threshold)을 초과하면 경고가 생성됩니다.
5. 분석가가 사례를 검토합니다.

이 방식은 효과적이긴 하지만, 중대한 약점이 있습니다.

모델이 특정 거래를 위험하다고 식별할 수는 있지만, 유사한 사건이 이전에 사기로 확인되었는지, 어떤 조치가 취해졌는지, 또는 분석가들이 유사한 상황을 어떻게 처리했는지에 대해서는 설명하지 못하는 경우가 많습니다.

그 결과:

• 유사한 조사가 반복됩니다.
• 분석가의 전문 지식이 개별 사례에 갇혀 있게 됩니다.
• 가치 있는 조사 결과가 사례 종료 후 유실됩니다.
• AI 시스템이 과거의 결정으로부터 개선되지 못합니다.

많은 조직에서 매년 수천 건의 사기 조사가 완료되지만, 해당 조사에서 얻은 지식이 향후 의사 결정의 일부가 되는 경우는 드뭅니다.

저는 바로 이 문제를 해결하고 싶었습니다.

핵심 아이디어: 에이전트에게 메모리(Memory) 부여하기

목표는 간단했습니다:

모든 조사를 새로운 이벤트로 취급하는 대신, 에이전트가 이전 사례들을 기억하고 새로운 거래를 평가할 때 이를 활용하도록 하는 것입니다.

이를 통해 에이전트는 단순한 예측 시스템에서 인텔리전스 시스템(Intelligence System)으로 변모합니다.

다음과 같이 질문하는 대신:

"이 거래의 리스크 점수(Risk Score)는 얼마인가?"

에이전트는 다음과 같이 질문하기 시작합니다:

"이전에 이와 유사한 것을 본 적이 있는가?"

이 겉보기에 사소한 변화가 시스템의 동작을 근본적으로 바꿉니다.

시스템 아키텍처 (System Architecture)

아키텍처는 네 가지 주요 계층으로 구성됩니다:

1. 거래 분석 계층 (Transaction Analysis Layer)

이 계층은 유입되는 금융 거래를 수신하고 다음과 같은 관련 특징(Features)을 추출합니다:

• 거래 금액 (Transaction amount)
• 지리적 위치 (Geographic location)
• 가맹점 카테고리 (Merchant category)
• 기기 정보 (Device information)
• 거래 시간 (Transaction time)
• 고객 행동 패턴 (Customer behavior patterns)

이러한 특징들은 사기 점수 산출 엔진(Fraud scoring engine)으로 전달됩니다.

2. 사기 탐지 엔진 (Fraud Detection Engine)

사기 엔진은 머신러닝 (Machine Learning)을 사용하여 초기 리스크 평가를 생성합니다.

출력 예시:

• 리스크 점수 (Risk Score): 78%
• 리스크 카테고리 (Risk Category): 높음 (High)
• 신뢰도 (Confidence): 91%

이 점수는 최종 결정이 아닌 시작점으로 기능합니다.

3. 메모리 계층 (Memory Layer)

메모리 계층은 조사 결과와 과거의 사기 지식을 저장합니다.

각 메모리는 다음을 포함합니다:

• 사기 유형 (Fraud type)
• 조사 요약 (Investigation summary)
• 분석가 결정 (Analyst decision)
• 해결 단계 (Resolution steps)
• 리스크 지표 (Risk indicators)
• 유사 거래 특성 (Similar transaction characteristics)

새로운 거래가 도착하면, 시스템은 최종 권장 사항을 생성하기 전에 관련 메모리 (Memories)를 검색합니다.

4. AI 조사 레이어 (AI Investigation Layer)

조사 에이전트 (Investigation agent)는 다음 항목들을 결합합니다:

• 현재 거래 상세 정보 (Current transaction details)
• 리스크 점수 (Risk score)
• 검색된 메모리 (Retrieved memories)
• 과거 결과 (Historical outcomes)

이 정보를 사용하여, 에이전트는 해당 거래가 왜 의심스러운지, 그리고 어떤 조치가 적절할 수 있는지를 설명하는 조사 보고서 (Investigation report)를 생성합니다.

사후 메모리 (Hindsight Memory) 소개

시스템에서 가장 중요한 구성 요소는 메모리 엔진 (Memory engine)입니다.

저는 의미 있는 조사 결과들을 저장하고 향후 분석 시 사용할 수 있도록 설계된, Hindsight에서 영감을 받은 메모리 아키텍처 (Memory architecture)를 구현했습니다.

메모리 시스템은 가공되지 않은 거래 로그 (Raw transaction logs)를 저장하는 대신, 학습된 교훈 (Lessons learned)을 포착합니다.

예를 들어:

조사 사례 (Investigation Case)

거래 (Transaction):

• 금액: ₹450,000
• 위치: 두바이 (Dubai)
• 시간: 오전 2:13

결과 (Outcome):

• 사기 확정 (Confirmed Fraud)

해결 (Resolution):

• 계정 동결 (Account Frozen)
• 고객 연락 (Customer Contacted)

주요 지표 (Key Indicators):

• 비정상적인 지리적 위치 (Unusual geography)
• 고액 송금 (High-value transfer)
• 야간 활동 (Night-time activity)

이 정보는 재사용 가능한 메모리가 됩니다.

나중에 유사한 거래가 나타나면, 에이전트는 이 사례를 검색하여 자신의 추론 과정 (Reasoning process)에 포함할 수 있습니다.

메모리 레이어 (Memory layer)는 개별적인 조사들을 조직적인 지식 (Institutional knowledge)으로 변환합니다.

사기 조사 워크플로우 (Fraud Investigation Workflow)

전체 워크플로우는 5단계로 진행됩니다.

1단계: 거래 수집 (Transaction Ingestion)

거래가 플랫폼에 진입합니다.

예시:

• 금액: ₹475,000
• 위치: 두바이 (Dubai)
• 가맹점 카테고리 (Merchant Category): 계좌 이체 (Wire Transfer)
• 시간: 오전 1:45

2단계: 리스크 점수 산정 (Risk Scoring)

머신러닝 (Machine learning) 모델이 거래를 평가합니다.

출력 (Output):

• 리스크 점수 (Risk Score): 72%
• 리스크 카테고리 (Risk Category): 높음 (High)

메모리가 없다면, 이것이 조사에 사용되는 주요 신호 (Primary signal)가 될 것입니다.

3단계: 메모리 검색 (Memory Retrieval)

메모리 엔진이 과거의 조사 기록을 검색합니다.

검색된 결과 (Retrieved Results):

• 4건의 유사한 사기 확정 사례 (Similar confirmed fraud cases)
• 2건의 계정 탈취 사건 (Account takeover incidents)
• 1건의 해외 송금 사기 사례 (International transfer fraud case)

이제 에이전트는 리스크 모델(risk model)이 알 수 없었던 컨텍스트(context)를 갖게 되었습니다.

4단계: AI 조사 (AI Investigation)

조사 에이전트(investigation agent)는 다음 요소들을 결합합니다:

• 현재 트랜잭션 데이터 (Current transaction data)
• 리스크 점수 (Risk score)
• 과거의 기억 (Historical memories)

추론 예시:

"이 트랜잭션은 비정상적인 시간대에 발생한 고액 해외 송금과 관련된, 이전에 확인된 4건의 사기 사례와 특성을 공유합니다. 유사한 조사 결과, 계좌 동결 및 사기 확정 사례가 있었습니다."

5단계: 분석가 피드백 (Analyst Feedback)

분석가는 권장 사항을 검토하고 피드백을 제공합니다.

가능한 결과:

• 사기 확정 (Confirm Fraud)
• 오탐 (False Positive)
• 정상 트랜잭션 (Legitimate Transaction)

선택된 결과는 다시 메모리(memory)에 저장됩니다.

이를 통해 지속적인 학습 사이클(continuous learning cycle)이 생성됩니다.

메모리가 에이전트의 행동을 변화시킨 방식

가장 흥미로운 관찰 결과는 메모리가 예상보다 훨씬 더 많이 시스템의 행동을 변화시켰다는 점입니다.

초기에 에이전트는 전형적인 사기 탐지 모델(fraud detection model)처럼 동작했습니다.

거의 전적으로 수치화된 리스크 점수(risk scores)에만 집중했습니다.

메모리 통합 이후, 행동이 크게 변화했습니다.

에이전트는 다음과 같은 행동을 시작했습니다:

• 이전 사례 참조 (Referring to previous cases)
• 반복되는 사기 패턴 식별 (Identifying recurring fraud patterns)
• 더 강력한 설명 제공 (Providing stronger explanations)
• 더 풍부한 컨텍스트를 바탕으로 권장 사항 제시 (Making recommendations with greater context)

단순히 다음과 같이 말하는 대신:

"리스크 점수는 72%입니다."

에이전트는 다음과 같이 말하게 됩니다:

"리스크 점수는 72%입니다. 이전에 유사한 트랜잭션 4건이 사기로 확인되었습니다. 가장 강력한 지표로는 비정상적인 지리적 위치와 표준 업무 시간 외의 고액 송금이 포함됩니다."

조사 보고서의 품질이 극적으로 향상되었습니다.

학습된 교훈 (Lessons Learned)

1. 메모리는 가공되지 않은 예측보다 더 가치 있다

리스크 점수도 유용하지만, 컨텍스트(context)가 더 중요한 경우가 많습니다.

중간 정도의 리스크를 가진 트랜잭션이라도 과거 사례와 함께 검토하면 매우 의심스러운 것으로 변할 수 있습니다.

2. 분석가의 지식은 보존되어야 한다

분석가들은 시간이 흐르면서 귀중한 전문 지식을 축적합니다.

메모리가 없다면, 조사가 종료됨과 동시에 그 전문 지식도 사라지게 됩니다.

메모리 시스템은 개별적인 의사결정을 조직적 지능 (organizational intelligence)으로 변환합니다.

3. 설명 가능성 (Explainability)은 신뢰를 향상시킵니다

분석가들은 추천의 근거가 되는 추론 과정을 이해할 때 그 추천을 더 신뢰할 가능성이 높습니다.

과거의 증거는 강력한 설명 메커니즘을 제공합니다.

4. 피드백 루프 (Feedback Loops)는 더 나은 시스템을 만듭니다

가장 효과적인 학습은 조사가 완료된 후에 발생합니다.

모든 분석가의 결정은 향후 조사를 위한 학습 데이터 (training data)가 됩니다.

5. 부정 탐지 (Fraud Detection)는 지속적인 학습이어야 합니다

사기 패턴은 끊임없이 진화합니다.

정적인 모델은 결국 시대에 뒤처지게 됩니다.

메모리는 새로운 조사가 발생할 때마다 그로부터 학습함으로써 시스템이 더 자연스럽게 적응할 수 있도록 합니다.

결론

메모리 기반의 부정 조사 에이전트를 구축하는 것은 금융 인텔리전스 시스템에 대한 저의 관점을 근본적으로 바꾸어 놓았습니다.

머신러닝 (Machine learning) 모델은 이상 징후 (anomalies)를 탐지하는 데 탁월하지만, 메모리는 그보다 더 깊은 것, 즉 경험으로부터의 학습을 가능하게 합니다.

사기 점수 산정 (fraud scoring), 조사 이력, 분석가 피드백, 그리고 메모리 검색 (memory retrieval)을 결합함으로써, 에이전트는 단순한 예측 엔진에서 맥락적 의사결정 지원 시스템 (contextual decision-support system)으로 진화했습니다.

가장 가치 있는 결과물은 더 높은 리스크 점수나 더 나은 분류 지표가 아니었습니다. 그것은 이전 조사로부터 얻은 지식을 재사용하여 미래의 결정에 적용할 수 있는 능력이었습니다.

AI 시스템이 금융 운영에 점점 더 통합됨에 따라, 메모리는 단순히 지능적일 뿐만 아니라 지속적으로 개선되는 에이전트를 만들기 위한 가장 중요한 구성 요소 중 하나가 될 것입니다.