원래 twarx.com에서 게시되었습니다 - 전체 대화형 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 7월 31일

금융 서비스의 대부분의 AI 기술 배포는 완전히 잘못된 문제를 해결하고 있습니다. 사람들은 모델의 크기 — GPT-4o 대 미세 조정된(fine-tuned) 3B 파라미터 모델 — 에 집착하지만, 실제 중요한 작업은 아무도 설계하지 않는 조정 계층 (coordination layer)에 있습니다. 이 AI 기술 플레이북에서 한 가지 아이디어만 가져간다면, 바로 이것입니다: 제품을 출시할지 여부를 결정하는 것은 모델이 아니라 핸드오프 (handoffs, 인계 과정)입니다.

이것이 지금 중요한 이유는 은행, 보험, 핀테크 분야의 2026년 AI 전환 물결이 AP 자동화 및 사기 탐지로부터 얻는 240%의 ROI 수치로 판매되고 있기 때문입니다. 하지만 대부분의 배포는 개념 증명 (proof-of-concept) 단계에서 멈춰 있습니다. 사용되는 도구들 — Claude 및 GPT-4o와 같은 기성 LLM (off-the-shelf LLMs), 맞춤형 SLM (custom SLMs), LangGraph 오케스트레이션 (orchestration), RAG 파이프라인 (RAG pipelines), 그리고 MCP — 는 모두 출시하기에 충분히 성숙했습니다. 그것은 더 이상 병목 현상이 아닙니다.

이 글을 읽고 나면, 언제 맞춤형 SLM을 배포해야 하는지 아니면 기성 LLM을 배포해야 하는지, 핸드오프를 어떻게 설계해야 하는지, 그리고 실제로 비용이 얼마나 드는지 정확히 알게 될 것입니다.

대부분의 금융 서비스 팀이 평가하는 두 가지 배포 경로 — 그리고 둘 중 하나라도 운영 환경에서 살아남을지를 결정하는 조정 계층 (coordination layer). 출처

개요: 왜 SLM 대 LLM 논쟁은 주의를 분산시키는가

시니어 운영자들이 예산의 4분의 1을 낭비한 후에야 발견하는 직관에 반하는 진실이 있습니다. 바로 모델 선택이 병목 현상인 경우는 드물다는 것입니다. 개별 모델 호출의 신뢰도가 각각 97%인 6단계 사기 탐지 파이프라인(fraud-detection pipeline)은 엔드 투 엔드(end-to-end)로 볼 때 신뢰도가 83%에 불과합니다. 실제 운영 환경에서 금융 서비스 AI를 망가뜨리는 것은 모델 자체의 원시 정확도가 아니라, 단계 간 인계 과정에서 발생하는 복합적인 실패입니다.

이것은 거의 아무도 예산에 반영하지 않는 AI 기술 (AI technology) 문제입니다. 포춘 500대 기업에 속한 은행이 '맞춤형 소형 언어 모델 (Small Language Model, SLM)을 사용할 것인가, 아니면 기성 프런티어 LLM (off-the-shelf frontier LLM)을 사용할 것인가?'라고 묻는다면, 그들은 모델이 곧 제품이라고 암묵적으로 가정하고 있는 것입니다. 하지만 그렇지 않습니다. 제품은 추출(extract), 분류(classify), 검색(retrieve), 추론(reason), 실행(act), 로그 기록(log)으로 이어지는 의사결정의 사슬이며, 각 연결 고리는 컨텍스트(context)가 유실되고, 형식이 깨지며, 컴플라이언스(compliance) 감사 추적(audit trails)이 사라지는 지점입니다.

맞춤형 SLM (Small Language Model — 일반적으로 1B에서 8B 파라미터 규모이며 특정 도메인에 맞춰 미세 조정(fine-tuned)됨)은 비용, 지연 시간(latency), 데이터 레지던시(data residency), 예측 가능성 측면에서 우위에 있습니다. 이는 거래 분류, KYC 문서 추출, 송장 항목 파싱, 1차 지원 트리아지(triage)와 같이 볼륨이 크고 범위가 좁은 작업에 적합한 선택입니다. 반면 기성 LLM (GPT-4o, Claude 3.7, Gemini 2.5)은 추론의 깊이, 제로샷(zero-shot) 유연성, 출시 속도 측면에서 우위에 있습니다. 예외 처리, 부정적 미디어 분석(adverse media analysis), 규제 관련 서신 초안 작성과 같이 볼륨은 적지만 복잡도가 높은 작업에 적합한 선택입니다.

하지만 '여기는 SLM, 저기는 LLM' 식의 프레임워크는 이들을 연결하는 요소를 명명할 때 비로소 실행 가능한 것이 됩니다. 더 넓은 전략적 맥락을 원하신다면, 금융 분야의 생성형 AI (generative AI in finance)에 대한 당사의 개요가 전체 지형을 보여줍니다.

명명된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차(AI Coordination Gap)란 AI 구성 요소 사이의 틈새에서 새어 나가는 신뢰성, 컨텍스트, 그리고 책임성을 의미합니다. 이는 모델, 검색 시스템(retrieval systems), 도구, 그리고 인간 사이의 인계(handoffs) 과정에서 발생하며, 그 어떤 단일 팀도 이를 온전히 책임지지 않습니다. 이 용어는 개별적으로는 정확한 모델들이 왜 집합적으로는 신뢰할 수 없는 시스템을 만들어내는지를 설명합니다.

금융 서비스 분야에서 조정 격차 (Coordination Gap)는 추상적인 개념이 아닙니다. 이는 사기 탐지 모델이 거래를 정확하게 식별했음에도 불구하고, 후속 케이스 관리 (case-management) 에이전트가 추론 과정 (reasoning trace)을 놓쳐서 컴플라이언스 담당자가 규제 기관에 해당 결정을 설명할 수 없게 만드는 이유입니다. 또한, AP 자동화 파이프라인이 송장을 완벽하게 추출했음에도 불구하고 ERP 인계 (handoff) 과정이 검증되지 않아 잘못된 총계정원장 (GL) 계정에 전기하는 이유이기도 합니다. 저는 이 두 가지 사례가 발생하는 것을 모두 목격했습니다. 이것들은 예외적인 사례 (edge cases)가 아닙니다.

금융 서비스 AI로 승리하고 있는 기업들은 가장 큰 모델을 가진 기업들이 아닙니다. 모델 간의 인계 (handoff) 과정을 일급 엔지니어링 (first-class engineering)으로 취급하고, 이를 전담할 인력을 배치한 기업들입니다.

이 기사의 나머지 부분에서는 조정 격차 (Coordination Gap)를 구성 요소 계층별로 나누고, 맞춤형 SLM (Small Language Models)과 기성 LLM (Large Language Models)이 각각 어떻게 배치되는지 보여주며, 이를 제대로 구현하여 모두가 쫓고 있는 200% 이상의 ROI (투자 대비 수익)를 달성한 실제 배포 사례를 살펴봅니다. 우리는 조정 격차의 정의, 이것이 지금 왜 중요한지, LangGraph 오케스트레이션 (LangGraph orchestration)을 통해 이를 어떻게 구현하는지, 비용은 얼마인지, 두 모델 클래스의 비교, 프로젝트를 실패하게 만드는 실수, 그리고 향후 전망에 대해 다룰 것입니다.

240%
금융 분야의 AI 에이전트에서 보고된 ROI (AP 자동화 + 사기 탐지)
[Enterprise AI ROI Analysis, 2026](https://openai.com/research/)
...

AI 조정 격차 (Coordination Gap)란 무엇인가 — 그리고 왜 금융 서비스가 이를 가장 먼저 체감하는가

금융 서비스는 조정 격차 (Coordination Gap)의 탄광 속 카나리아 (canary in the coal mine)입니다. 왜냐하면 이 분야는 규제 감사 가능성 (regulatory auditability), 침묵하는 오류에 대한 무관용 (zero tolerance for silent errors), 그리고 **높은 거래량 (high transaction volume)**이라는 세 가지 가혹한 제약 조건을 동시에 갖추고 있기 때문입니다. 소비자용 챗봇에서 컨텍스트 윈도우 (context window)가 끊기는 것은 짜증스러운 일에 불과합니다. 하지만 400만 달러 규모의 송금 승인 과정에서 컨텍스트가 끊기는 것은, 제출되지 못한 의심 거래 보고서 (Suspicious Activity Report)로 이어집니다.

2025년 기업용 생성형 AI 현황 (State of Generative AI in the Enterprise) 연구는 이를 구체적으로 보여주었습니다. 모델이 더 좋아짐에 따라 파일럿(Pilot)과 운영(Production) 사이의 격차는 좁혀지는 것이 아니라 오히려 더 벌어졌습니다. 더 나은 모델은 팀들이 더 길고 야심 찬 체인(Chain)을 구축하도록 유혹했고, 단계가 추가될 때마다 조정 표면적(Coordination surface area)은 배로 늘어났습니다. 더 많은 기능은 더 많은 실패 모드(Failure modes)를 만들어냈습니다. 이는 깊이 고민해 볼 가치가 있는 패턴이며, 확장 장벽(Scaling barriers)에 관한 McKinsey State of AI의 조사 결과와도 일치합니다.

각 단계의 신뢰도가 95%인 파이프라인에 7번째 단계를 추가하면, 엔드 투 엔드(End-to-end) 신뢰도는 77%에서 73%로 떨어집니다. 사기 탐지(Fraud detection)에서 이 4%포인트의 하락은 매달 수천 건의 누락되거나 잘못 플래그(Flagged)된 거래를 의미합니다. 더 적고 더 잘 조정된 단계가 거의 모든 경우에서 더 많은 단계보다 낫습니다.

DeepLearning.AI의 설립자인 Dr. Andrew Ng는 2026년의 가장 큰 이득은 더 큰 모델이 아니라, 반복적이고 도구를 사용하는 루프인 _에이전트 워크플로우 (Agentic workflows)_에서 올 것이라고 반복해서 주장해 왔습니다. 그의 말이 맞습니다. 하지만 에이전트 워크플로우는 에이전트가 스스로 핸드오프(Handoff) 결정을 동적으로 내리기 때문에, 조정 격차(Coordination Gap)가 가장 넓게 나타나는 지점이기도 합니다. 이는 기능인 동시에 부채(Liability)입니다.

금융 서비스 배포에서 실제로 누수가 발생하는 5가지 계층으로 조정 격차를 나누고, 각 계층에 어떤 모델 클래스가 적합한지 보여드리겠습니다.

금융 서비스 파이프라인에서의 AI 조정 격차 5개 계층

  1

    **수집 및 추출 계층 (Ingestion & Extraction Layer) — 맞춤형 SLM**

송장, KYC 문서, 거래 로그가 입력됩니다. 미세 조정된(Fine-tuned) 3B-8B SLM (예: Phi-3 또는 Llama 3 파생 모델)이 구조화된 필드를 추출합니다. 높은 볼륨, 좁은 작업 범위, 약 50-200ms의 지연 시간(Latency). 출력: 검증된 JSON.

↓

  2
...

Pinecone 또는 프라이빗 벡터 스토어 (private vector store)가 정책 문서, 과거 사례, 규제 규칙을 검색합니다. 이곳은 컨텍스트 (context)가 보존되거나 혹은 소리 없이 누락되는 지점입니다. 최신성 측면에서는 파인튜닝 (fine-tuning)보다 그라운딩 (grounding)이 더 효과적입니다.

↓

  3
...

Claude 3.7 또는 GPT-4o가 어려운 판단을 내립니다: 검색된 컨텍스트를 고려할 때 이 거래가 이상 징후(anomalous)인가? 추출 대비 낮은 볼륨, 높은 복잡성. 전체 추론 과정 (reasoning trace)이 캡처됩니다.

↓

  4
...

상태 머신 (State machine)이 SLM, LLM, 도구(tools), 그리고 사람 사이를 라우팅합니다. MCP는 도구 접근을 표준화합니다. 이 레이어는 핸드오프 (handoffs)를 '소유'하며, 이것이 바로 격차를 줄이는 핵심 목적입니다.

↓

  5
...

ERP에 게시하거나, 의심거래보고(SAR)를 제출하거나, 혹은 에스컬레이션(escalate)합니다. 모든 결정은 규제 기관을 위해 전체 리니지 (lineage)와 함께 로그로 기록됩니다. 확률론적 (probabilistic)이지 않고 결정론적 (deterministic)입니다. 이는 금융 분야에서 타협할 수 없는 사항입니다.

각 레이어 간의 핸드오프는 하나의 조정 경계 (coordination boundary)이기 때문에 이 시퀀스(sequence)가 중요하며, 금융 서비스는 이 모든 과정에 걸친 감사 추적 (audit trail)을 요구합니다.

AI 조정 격차 (AI Coordination Gap)의 각 레이어는 특정 모델 클래스에 매핑됩니다 — 대량 추출을 위한 맞춤형 SLM, 복잡한 추론을 위한 기성 LLM. Source

레이어 1: 인제스션 & 추출 (Ingestion & Extraction) — 맞춤형 SLM이 압도적으로 승리하는 곳

추출 레이어는 모든 금융 서비스 파이프라인에서 가장 볼륨이 크고 반복적인 부분이며, 맞춤형 SLM이 가장 명확한 ROI를 제공하는 지점입니다. 중소 규모의 상업 은행이 매달 40,000건의 송장을 AP 자동화를 위해 처리할 때, 각 송장을 GPT-4o로 보내는 것은 비용이 많이 들고 느립니다. 자체 인프라에서 실행되는 파인튜닝된 Phi-3-mini 또는 증류된 (distilled) Llama 3 8B는 아주 적은 비용으로 필드 추출 (field extraction)을 처리합니다. 저는 여러 고객을 대상으로 이 비용을 산출해 보았으며, 그 격차는 결코 미미하지 않습니다.

수치는 극명합니다. 대량의 데이터를 처리할 때, 미세 조정된 (fine-tuned) SLM은 동일한 좁은 범위의 추출 (extraction) 작업에 대해 프런티어 (frontier) LLM보다 10-30배 낮은 추론 비용 (inference cost)을 제공하며, 더 낮은 지연 시간 (latency)과 완전한 데이터 거주성 (data residency)을 보장합니다. 이는 송장에 VPC를 벗어날 수 없는 개인정보 (PII) 및 계좌 번호가 포함된 경우 매우 중요합니다. Meta의 자체 Llama 연구 (Llama research)는 작고 증류된 (distilled) 모델들이 좁은 작업 범위에서 정확도 격차를 얼마나 많이 좁혔는지를 강조하며, Microsoft의 Phi 모델 제품군 연구 (Phi model family research) 또한 가장 작은 계층에서 동일한 추세를 보여줍니다.

모든 송장을 프런티어 LLM으로 보내는 것은 파일을 알파벳 순으로 정리하기 위해 파트너급 변호사를 고용하는 것과 같습니다. 모델이 틀린 것이 아니라, 배포 (deployment) 방식이 틀린 것입니다.

그렇다면 언제 이곳에서 맞춤형 SLM을 구축하지 말아야 할까요? 문서 유형이 매우 이질적(heterogeneous)이고 처리량이 적을 때입니다. 만약 50개의 형식을 가진 문서를 한 달에 200개만 처리한다면, SLM의 미세 조정 (fine-tuning) 및 MLOps 오버헤드는 결코 비용을 회수할 수 없습니다. 이럴 때는 구조화된 출력 (structured output) 모드가 있는 기성 (off-the-shelf) LLM을 사용하고 넘어가십시오. 이것이 대부분의 벤더들이 말해주지 않는 솔직한 트레이드오프 (tradeoff)입니다: 맞춤형 SLM은 순손실이 발생하는 처리량 임계값 (volume threshold)이 존재합니다. 제가 배포한 대부분의 사례에서 AP 추출 (AP extraction)의 경우, 그 임계값은 월 5,000~10,000개 문서 정도에 위치합니다. 더 심도 있는 구축 대 구매 (build-versus-buy) 수학적 계산을 원하신다면, 당사의 소형 언어 모델 (small language models) 가이드를 참조하십시오.

금융 분야에서 맞춤형 SLM의 진정한 이점은 정확도가 아닙니다. 성능이 좋은 LLM도 종종 그와 대등한 수준을 보여주기 때문입니다. 그것은 바로 예측 가능성 (predictability) 입니다. 고정된 가중치 (frozen weights)로 미세 조정된 모델은 동일한 입력에 대해 매번 동일한 출력을 생성합니다. 그 결정론적 (determinism) 특성이 바로 감사인(auditors)과 모델 리스크 관리 (model-risk-management) 팀이 실제로 요구하는 것입니다.

레이어 2 & 3: 검색 및 추론 — RAG 및 기성 LLM

여기서 SLM 대 LLM의 이분법적 구분이 완전히 무너집니다. 왜냐하면 정답은 _둘 다 사용하면서, 검색 (Retrieval)까지 결합하는 것_이기 때문입니다. 추론 (Reasoning) 레이어는 사용 가능한 가장 깊은 지능을 원하는 영역이며, 바로 이곳에 규제적 판단 (Regulatory judgment)이 존재합니다. 이 송금이 의심스러운가? 이 부정적 미디어 (Adverse-media) 검색 결과가 실제로 우리 고객과 일치하는가? Claude 3.7 Sonnet이나 GPT-4o와 같은 기성 프런티어 LLM (Off-the-shelf frontier LLMs)은 이 단계에서 토큰당 비용이 더 높더라도 그만한 가치가 있습니다. 처리량은 적지만 잘못된 결정으로 인한 비용이 막대하기 때문입니다.