당신이 겪지 않아도 되도록 값비싼 교훈으로부터 배우기

지난 2년 동안 저는 우리 기관에서 진행된 세 가지 주요 생성형 AI (Generative AI) 이니셔티브를 지켜보았습니다. 하나는 엄청나게 성공적이었고, 하나는 평범했으며, 나머지 하나는 80만 달러를 소진한 후 중단해야 했던 완전한 실패였습니다. 차이점은 기술이 아니었습니다. 바로 우리가 구현(implementation)에 접근하는 방식이었습니다. 여기에는 우리의 시간, 돈, 그리고 신뢰도를 앗아간 실수들과 이를 피하는 방법이 담겨 있습니다.

금융 운영 (Financial Operations) 분야의 생성형 AI (Generative AI)에 대한 열풍으로 인해 모든 경영진이 "AI 전략"을 요구하고 있습니다. 하지만 근본적인 과제를 해결하지 않은 채 배포를 서두르는 것은 실패한 파일럿 프로젝트, 컴플라이언스 (compliance) 위반, 그리고 더 나쁜 상황—문제를 해결하기보다 더 많은 문제를 일으키는 기술—으로 이어집니다. 이 다섯 가지 함정은 제가 지역 은행 동료 네트워크 전반에서 목격한 구현 실패의 대부분을 차지합니다.

실수 1: 비즈니스 문제가 아닌 기술 문제를 해결하려 함

발생한 상황: 우리의 첫 번째 AI 프로젝트는 CTO가 컨퍼런스에 참석한 후, 우리에게 "AI 기반 문서 처리"가 필요하다고 확신하면서 시작되었습니다. 우리는 컴퓨터 비전 (computer vision)과 자연어 처리 (natural language processing)를 사용하여 대출 신청서에서 데이터를 추출하는 시스템을 구축하는 데 6개월을 보냈습니다. 기술적으로는 아주 훌륭하게 작동했습니다. 문제는 무엇이었을까요? 우리의 대출 담당자들은 실제로 데이터 추출에 많은 시간을 쓰지 않았습니다. 그들은 신용도에 대한 판단, 예외 사항 검토, 그리고 차입자와의 상담에 시간을 보냈습니다. 우리는 쉬운 15%를 자동화하고 가치 있는 85%를 무시했던 것입니다.

피하는 방법: 기술이 아닌 시간 연구 (time studies)부터 시작하십시오. AML 분석가, 언더라이터 (underwriters), 고객 서비스 담당자 등 팀원들의 업무를 관찰하여 그들이 실제로 어디에서 정체되는지 파악하십시오. 다음 사항을 찾아보십시오:

• 병목 현상을 일으키는 대량의 반복적인 작업
• 정확도 문제가 하류 (downstream) 문제를 일으키는 프로세스
• 지루하고 직원 이직을 유발하는 업무
• 측정 가능한 명확한 품질 지표가 있는 활동

실제 고충 (pain point)을 식별한 후에야 비로소 AI가 도움이 될 수 있을지 질문해야 합니다.

때로는 그 해답이 기술이 아니라 더 나은 교육, 간소화된 워크플로우(workflows), 또는 인력 재배치일 수도 있습니다.

실수 2: 데이터 품질 요구사항 (Data Quality Requirements) 과소평가

발생한 상황: 우리는 부정행위 분석가들이 의심스러운 활동 보고서(suspicious activity reports)를 위한 사례 서술(case narratives) 작성을 돕기 위해 AI 어시스턴트를 출시했습니다. 이 시스템은 과거 사례로부터 학습하여 규정을 준수하는 문서를 생성하도록 설계되었습니다. 1주 차는 유망했습니다. 3주 차에는 사실 관계 오류가 나타나기 시작했습니다. 6주 차에는 AI가 실제 데이터에는 없는 거래 세부 정보를 환각(hallucinating)하고 있다는 사실을 발견했습니다. 근본 원인은 무엇이었을까요? 우리의 과거 사례들이 일관되지 않았기 때문입니다. 분석가마다 서로 다른 형식을 사용했고, 어떤 이들은 전체 거래 세부 정보를 포함한 반면 다른 이들은 외부 시스템을 참조했으며, 약 30%는 문서가 불완전했습니다. AI는 혼돈으로부터 학습했고, 혼돈을 생산했습니다.

이를 피하는 방법: 어떤 AI 구현을 하기 전에 데이터 품질을 감사하십시오:

데이터 품질 요구사항 (Data Quality Requirements):
□ 완결성 (Completeness): 모든 필수 필드가 채워져 있음
□ 일관성 (Consistency): 표준화된 형식 및 용어 사용
□ 정확성 (Accuracy): 정보가 검증되고 확인됨
□ 적시성 (Timeliness): 데이터가 최신이며 관련성이 있음
□ 접근성 (Accessibility): 여러 시스템에 흩어져 있지 않고 중앙 집중화됨

프로젝트 일정의 30~40%를 데이터 준비(data preparation)에 할당할 계획을 세우십시오. 과거 기록을 정리하고, 형식을 표준화하며, 정확성을 검증하십시오. 금융 운영(Financial Operations)에서의 생성형 AI (Generative AI)의 경우, 쓰레기 입력은 쓰레기 출력(garbage in, garbage out)을 보장합니다. 다만, 그 쓰레기가 일반 관찰자를 속일 수 있을 만큼 정교하게 들린다는 점이 이를 위험하게 만듭니다.

실수 3: 변화 관리 (Change Management) 무시

발생한 상황: 우리는 KYC(Know Your Customer) 문서 검토를 지원하기 위해 AI 시스템을 배포했습니다. 기술 자체는 테스트에서 성능이 좋았습니다. 그 후 우리는 최소한의 교육—단 90분의 세션과 사용자 가이드—만 제공한 채 고객 온보딩(onboarding) 팀에 이를 도입했습니다. 채택률은 최악이었습니다. 분석가들은 시스템을 무시하고 기존의 수동 프로세스를 계속 유지했습니다.

우리가 조사했을 때, 그들은 AI를 신뢰하지 않았고(이해할 만한 일입니다), 언제 수동 검토 대신 AI를 사용해야 하는지 이해하지 못했으며(우리가 명확히 설명하지 않았습니다), 자신들의 워크플로 (workflow)를 복잡하게 만드는 "또 하나의 시스템"이라고 느꼈다는 것을 발견했습니다. 이를 피하는 방법:

AI 배포를 소프트웨어 설치가 아닌 조직 변화 (organizational change)로 취급하십시오:

• 첫날부터 최종 사용자 (end users)를 참여시키십시오: 우리의 성공적인 AML (자금세탁방지) 프로젝트에는 설계, 테스트 및 출시 계획 단계부터 분석가들이 참여했습니다.
• 고용 안정성에 대한 우려를 명시적으로 다루십시오: 역할이 변할 것인지에 대해 솔직해지십시오. 우리의 경우, 절약된 시간을 더 복잡한 조사에 재배치했으며 해고는 없었습니다.
• 지속적인 지원을 제공하십시오: 각 팀에서 심화 교육을 받고 동료들을 도울 "AI 챔피언 (AI champions)"을 지정하십시오.
• 승리를 공개적으로 축하하십시오: AI가 케이스를 더 빨리 종결하거나 사기를 더 일찍 포착하는 데 도움이 되었을 때, 이를 인정하십시오.

또한 변화 관리 (change management) 프레임워크를 포함하여 가이드된 AI 구현 지원을 제공하는 팀과 협력하는 것도 고려하십시오. 기술적인 측면은 종종 사람 측면보다 더 쉽습니다.

실수 4: 컴플라이언스 (Compliance) 및 리스크 검토 소홀
발생한 상황: 고객 서비스 챗봇 (chatbot)을 배포하려는 급한 마음에 컴플라이언스 검토를 서둘러 진행했습니다. 봇은 계좌 기능, 이자율 및 수수료에 관한 질문에 답변하며 라이브 상태가 되었습니다. 봇은 아주 잘 작동했지만, 한 고객이 현역 군인을 위한 마이너스 통장 (overdraft) 정책에 대해 질문했을 때 문제가 발생했습니다. 봇은 군 대출법 (Military Lending Act)을 위반하는 정보를 제공했습니다. 다행히 우리의 QA (품질 보증) 팀이 규제 문제가 발생하기 전에 이를 잡아냈지만, 적절한 가드레일 (guardrails)을 구현하고 컴플라이언스 테스트를 확장하는 동안 6주 동안 봇을 내렸어야 했습니다.

이를 피하는 방법: 고객 대면 또는 컴플라이언스 (compliance) 관련 AI의 경우:

• 공식적인 모델 검증 (Formal model validation): 정확도 (accuracy), 편향성 (bias), 실패 모드 (failure modes)에 대한 제3자 평가
• 규제 정렬 검토 (Regulatory alignment review): 모든 유스케이스 (use case)에 대한 법무 및 컴플라이언스 승인
• 포괄적인 테스트 (Comprehensive testing): 에지 케이스 (edge cases), 적대적 입력 (adversarial inputs), 규제 시나리오 포함
• 지속적인 모니터링 (Ongoing monitoring): 정확도 추적, 감사 출력물 정기 점검, 모델 드리프트 (model drift) 감시
• 명확한 에스컬레이션 경로 (Clear escalation paths): AI가 답변할 수 없는 경우 즉시 상담원에게 연결

네, 이 과정은 일정에 6~10주를 추가합니다. 하지만 컴플라이언스 위반은 벌금, 평판 훼손, 경영진의 신뢰도 하락 등 훨씬 더 큰 비용을 초래합니다.

실수 5: 결과 대신 활동량을 측정하는 것
무슨 일이 일어났나: 모기지 언더라이팅 (mortgage underwriting) AI 프로젝트를 시작한 지 6개월이 지났을 때, 경영진이 결과를 요구했습니다. 우리 팀은 자랑스럽게 다음과 같이 보고했습니다: "시스템이 2,400건의 신청서를 처리했고, 1,850건의 예비 언더라이팅 메모를 생성했으며, 데이터 추출에서 94%의 정확도를 달성했습니다!"
경영진의 반응: "알겠습니다... 그래서요? 대출 실행이 더 빨라졌나요? 더 나은 신용 결정을 내리고 있나요? 비용이 절감되었나요?"
우리는 전혀 알지 못했습니다. AI의 성능에만 너무 집중한 나머지, 그것이 비즈니스 결과 (business outcomes)를 개선했는지 측정하는 것을 잊었습니다.

이를 피하는 방법: 무엇인가를 구축하기 전에 성공 지표 (success metrics)를 정의하십시오:

• 거래 모니터링 (transaction monitoring)의 경우:
  • 케이스 종결 시간 (Time to close cases) (목표: -40%)
  • 오탐률 (False positive rate) (목표: -25%)
  • 검토된 케이스당 비용 (Cost per case reviewed) (목표: -$30)
• 대출 실행 (loan origination)의 경우:
  • 결정까지 소요 일수 (Days to decision) (목표: 7일 → 3일)
  • 언더라이터 생산성 (Underwriter productivity) (목표: FTE당 신청 건수 +35%)
  • 채무 불이행률 (Default rates) (목표: 유지 또는 개선)
• 고객 서비스 (customer service)의 경우:
  • 최초 문의 해결률 (First-call resolution) (목표: +20%)
  • 평균 처리 시간 (Average handle time) (목표: -30%)
  • 고객 만족도 점수 (Customer satisfaction score) (목표: +0.5점)

배포 전에 기준점 (baseline)을 측정하고, 파일럿 기간 동안 추적하며, 기술 통계가 아닌 비즈니스 임팩트 (business impact)를 보고하십시오. 금융 운영 (Financial Operations)에서의 생성형 AI (Generative AI)는 ROE 개선, 운영 비용(CTC) 절감, 또는 효율성을 통한 NIM 향상을 이끌어내야 합니다. 그 연결 고리를 명확히 하십시오.

추가적인 실수: 비현실적인 타임라인 (Unrealistic Timelines)
모든 경영진은 어제라도 당장 결과를 얻고 싶어 합니다. 하지만 서두르는 것은 앞서 언급한 모든 실수를 유발합니다. 첫 번째 유스케이스 (Use case)를 위한 현실적인 타임라인은 킥오프 (Kickoff)부터 운영 (Production)까지 4~6개월입니다. 여기에는 다음 과정이 포함됩니다:

4주: 비즈니스 케이스 (Business case) 및 유스케이스 선정
6주: 데이터 준비 및 품질 개선
8주: 개발 및 통합
4주: 테스트 및 컴플라이언스 (Compliance) 검토
2주: 소규모 사용자 그룹 대상 파일럿 (Pilot)
2주: 조정 및 스케일업 (Scale-up)

두 번째 유스케이스는 프로세스를 학습했기 때문에 더 빠르게(2~3개월) 진행될 것입니다. 하지만 첫 번째 프로젝트에는 시간이 걸립니다. 그에 맞춰 기대치를 설정하십시오.

결론 (Conclusion)
금융 운영 (Financial Operations)에서의 생성형 AI (Generative AI)는 엄청난 잠재력을 제공합니다. 우리는 여러 유스케이스에서 50% 이상의 효율성 향상을 달성했습니다. 하지만 성공을 위해서는 다음과 같은 값비싼 함정들을 피해야 합니다: 실제 비즈니스 문제 해결, 데이터 품질 확보, 조직 변화 관리, 컴플라이언스 우선순위 지정, 그리고 비즈니스 성과 측정입니다.

타인의 실수로부터 배우며 신중하게 움직이는 기관들이 리스크를 최소화하면서 경쟁 우위를 점하게 될 것입니다. 운영을 위해 뱅킹 자동화 솔루션 (Banking Automation Solutions)을 탐색하고 있다면, 이러한 함정을 피하기 위해 충분한 시간을 투자하십시오. 성공적인 배포와 비용이 많이 드는 실패의 차이는 종종 이러한 근본적인 구현 과제들을 얼마나 잘 다루느냐에 달려 있습니다.