원문은 twarx.com에서 처음 게시되었습니다 - 전체 인터랙티브 버전은 그곳에서 읽을 수 있습니다.

최종 업데이트: 2026년 7월 5일

금융권의 대부분 AI 기술 배포는 완전히 잘못된 문제를 해결하고 있습니다. 그들은 모델 크기에 집착하는 반면, 각 단계의 신뢰도가 97%인 6단계 언더라이팅 (underwriting) 파이프라인의 전체 엔드 투 엔드 (end-to-end) 신뢰도는 83%에 불과하다는 사실은 무시합니다. 이 격차는 엔지니어가 아닌 규제 기관이 가장 먼저 발견하게 됩니다. 규제 대상인 금융 분야의 AI 기술에 있어서, 이러한 복합적인 격차(compounding seam)가 승패를 결정짓는 핵심이며, 이는 슬라이드 덱(slide deck)에 거의 등장하지 않습니다.

이 글은 현재 금융 서비스의 모든 운영 리더들이 직면한 실제 배포 결정에 관한 것입니다: 맞춤형 소형 언어 모델 (SLM, Small Language Model)을 구축할 것인가, 아니면 GPT-4o나 Claude와 같은 기성 LLM (Large Language Model)을 라이선스할 것인가? LangGraph, Anthropic의 MCP, RAG, 그리고 오케스트레이션 (orchestration) 레이어와 같은 도구들이 2026년에 충분히 성숙함에 따라, 이제 이 AI 기술 선택은 연구 목적의 도박이 아닌 예산 항목의 결정이 되었습니다.

글을 마치면 여러분은 무엇을 배포해야 하는지, 비용은 얼마인지, 그리고 왜 실제 병목 현상이 모델 선택이 아닌 조정 (coordination)인지 정확히 알게 될 것입니다.

금융권에서의 맞춤형 SLM 대 기성 LLM 결정은 정확도 벤치마크보다는 규제 대상 워크플로우 전반에서 AI 조정 격차 (AI Coordination Gap)가 어디에서 발생하는지에 더 크게 좌우됩니다. 출처

개요: 왜 SLM 대 LLM 논쟁이 실제 문제를 놓치고 있는가

이번 주 모든 은행 CIO(최고 정보 책임자)의 책상을 스쳐 지나가는 트렌드 — '금융권의 효과적인 AI 전략을 위한 5가지 특징' 및 쏟아지는 '에이전틱 AI (Agentic AI) 통계 2026' 보고서들 — 은 의사결정 과정에서 위험한 지름길을 만들어냈습니다. 경영진은 모델 선택을 전략적 결정으로 취급하고 있습니다. 하지만 그렇지 않습니다. 모델은 하나의 구성 요소일 뿐입니다. 시스템이 곧 전략입니다.

솔직하고 냉혹한 진실을 말씀드리겠습니다. 귀사의 대출 문서에 맞춰 미세 조정(Fine-tuning)된 맞춤형 SLM(소형 언어 모델)이든, GPT-4o와 같은 범용 LLM(대규모 언어 모델)이든, 두 모델 모두 개별 작업에서는 95% 이상의 정확도를 달성할 것입니다. 분류(Classification), 요약(Summarization), 개체명 인식(Entity extraction) 등 현대의 AI 기술은 이 모든 것을 완벽하게 수행합니다. 하지만 2025년에는 금융권 AI 파일럿 프로젝트들이 중단되는 물결이 일었습니다. 그리고 그 중 거의 어느 것도 모델이 너무 작거나 멍청해서 실패한 것이 아니었습니다. 그것들은 '이음새(Seams)'에서 실패했습니다. 즉, 문서 수집 에이전트(Document-ingestion agent)에서 리스크 점수 산정 에이전트(Risk-scoring agent)를 거쳐 컴플라이언스 기록 시스템(Compliance-logging system)으로 넘어가는 과정이 하나의 단위로 설계되지 않았기 때문에 발생한 실패였습니다. 저는 이런 일이 반복되는 것을 목격해 왔으며, 그때마다 매우 고통스럽습니다. 왜냐하면 사후적으로 보면 해결책이 대개 명확하기 때문입니다.

이것이 바로 이 글에서 명명하고 분석할 현상입니다.

명명된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차(AI Coordination Gap)란 단일 모델 내부가 아니라, 다단계 워크플로우(Multi-step workflow) 내에서 AI 구성 요소, 도구, 그리고 인간 검토자 간의 인수인계(Handoff) 시 발생하는 복합적인 신뢰성 손실을 의미합니다. 이는 왜 개별적으로는 뛰어난 AI 부품들이 규제 환경 내에서 집합적으로는 신뢰할 수 없는 시스템을 만들어내는지에 대한 이유를 설명합니다.

단 한 번의 잘못된 결정이 규제 당국의 지적 사항을 유발할 수 있는 은행 및 금융 서비스 분야에서, 이 '조정 격차'는 데모(Demo)와 실제 배포(Deployment)를 가르는 차이입니다. 이 글에서는 다음 내용을 다룰 것입니다:

• 각 옵션의 실체 — 마케팅 용어가 아닌, 실제 운영(Production) 관점에서의 맞춤형 SLM (Small Language Model) 대 기성 LLM (Large Language Model).

• 5단계 의사결정 프레임워크 — AI 조정 격차(AI Coordination Gap)를 해소하기 위해 구축된 체계.

• 실제 ROI(투자 대비 수익) 수치 — 명시된 금융 서비스 배포 사례로부터 도출된 데이터.

• 아키텍처 (Architecture) — RAG (검색 증강 생성), 미세 조정 (Fine-tuning), 오케스트레이션 (Orchestration), 그리고 MCP가 어떻게 결합되는가.

• 실수 사례 — 은행 AI 파일럿 프로젝트의 60~70%를 출시 전 실패하게 만드는 요인들.

제가 글 전체를 통해 옹호할 역발상적 주장은 다음과 같습니다: 규제가 엄격한 대부분의 금융 워크플로우(Workflow)에서는, 잘 설계된 오케스트레이션 시스템 내부의 작고 저렴한 맞춤형 SLM이 단순히 사용되는 프런티어 LLM (Frontier LLM)보다 우수합니다. 승패는 원시 지능(Raw intelligence)이 아닌 조정(Coordination)에서 결정되기 때문입니다. 이는 더 큰 모델이 항상 더 안전할 것이라는 직관을 뒤집는 것입니다. 규제 환경에서는 호스팅, 감사(Audit), 그리고 결정론적 버전 관리가 가능한 모델이 블랙박스 형태의 프런티어 API보다 위험을 더 효과적으로 줄여주는 경우가 많습니다. 저는 GPT-4o 단독으로 대규모 KYC (고객 알기 제도) 파이프라인을 구축하지 않을 것입니다. 결론입니다.

83%
각 단계의 정확도가 97%인 6단계 파이프라인의 엔드 투 엔드(End-to-end) 신뢰도
[오차 누적 수학, arXiv 2025](https://arxiv.org/)
...

맞춤형 SLM과 기성 LLM의 실체

프레임워크를 살펴보기 전에 명확한 정의를 내리겠습니다. 벤더들의 마케팅이 두 용어를 심하게 혼동시켜 놓았기 때문입니다. 이러한 AI 기술적 차이를 이해하는 것은 이후의 모든 비용 및 컴플라이언스(Compliance, 준법 감시) 결정의 토대가 됩니다.

기성 LLM (Off-the-Shelf LLM)

API를 통해 접근하는 거대하고 범용적인 모델 — OpenAI의 GPT-4o, Anthropic의 Claude, 또는 Google DeepMind의 Gemini 등이 이에 해당합니다. 프롬프트(Prompt)를 보내면 응답을 받습니다. 토큰(Token)당 비용을 지불합니다. 가중치(Weights)에 대해서는 아무것도 제어할 수 없으며, 모델은 예고 없이 지원이 중단되거나 업데이트될 수 있습니다. 금융권에서는 마지막 지점이 매우 중요합니다. 조용한 모델 업데이트는 변경 관리(Change-control) 기록 없이도 언더라이팅(Underwriting, 인수 심사) 동작을 변화시킬 수 있습니다. 저는 컴플라이언스(Compliance, 준법 감시) 팀이 이 사실을 깨닫고 창백해지는 것을 본 적이 있습니다.

맞춤형 SLM (Custom SLM)

일반적으로 1B에서 15B 사이의 파라미터(Parameters)를 가진 더 작은 모델(Llama 3.1 8B, Mistral 7B, Phi-3 등)로, 자체 도메인 데이터로 미세 조정(Fine-tune)하여 온프레미스(On-prem) 또는 프라이빗 VPC(Virtual Private Cloud)에 직접 호스팅합니다. 범위는 더 좁지만 온전히 귀하의 것입니다. 감사(Auditable)가 가능하고, 버전 관리(Versioned)가 되며, 대규모 운영 시 비용이 저렴합니다. 시를 쓰지는 못할 것입니다. 하지만 5,000개의 레이블링된(Labelled) 예시로 미세 조정을 거치면 98%의 정밀도로 주택 담보 대출 예외 사항을 분류할 수 있으며, 단 하나의 사회보장번호(SSN)도 제3자 API로 전송하지 않고 이를 수행합니다. 실무적인 경로에 대해서는 Hugging Face 미세 조정 문서를 참조하십시오.

규제가 엄격한 금융 분야에서는, 변경 관리 티켓 없이 사용자 모르게 변해버리는 약간 더 똑똑한 모델보다, 감사와 버전 관리가 가능하고 상태를 고정(Freeze)할 수 있는 모델이 승리합니다.

구분	맞춤형 SLM (자체 호스팅)	기성 LLM (API)
작업당 추론 비용	매우 낮음 ($0.0001–0.001)	10–30배 더 높음
데이터 레지던시 / 프라이버시	완전한 제어 가능, 온프레미스 가능	데이터가 보안 경계(Perimeter)를 벗어남
감사 가능성 및 버전 관리	결정론적(Deterministic), 고정된 가중치	벤더가 조용히 업데이트할 수 있음
추론 범위	좁음, 작업 특화형	넓음, 범용적
첫 가치 창출 시간	몇 주 (데이터 + 미세 조정)	며칠 (프롬프트만 사용)
최적 용도	대량의 반복적이고 규제된 작업	소량의 다양하고 탐색적인 작업
규제 대응력	높음	보통 (벤더의 SOC2/계약에 따라 다름)

단일 A100에서 실행되는 미세 조정된 (fine-tuned) Mistral 7B는 시간당 약 40,000건의 대출 문서 분류를 처리할 수 있으며, 이는 GPT-4o 비용의 약 1/20 수준입니다. 또한 고객의 사회보장번호 (SSN)를 귀사의 가상 사설 클라우드 (VPC) 외부로 절대 전송하지 않습니다. 대량의 반복적인 작업에 있어 이는 비교조차 되지 않는 압도적인 차이입니다.

두 가지 배포 경로는 데이터 거주성 (data residency)과 비용 측면에서 극명하게 갈리지만, 동일한 실패 지점인 AI 구성 요소 간의 조정 계층 (coordination layer)에서 수렴합니다. 출처

AI 조정 격차를 해소하기 위한 5계층 프레임워크

SLM과 LLM 중 무엇을 선택할지는 첫 번째 단계일 뿐입니다. 아래의 프레임워크는 실제 배포로 이어지는 뱅킹 AI 파일럿과 보안 검토 단계에서 사장되는 파일럿을 구분 짓는 핵심입니다. 각 계층은 AI 조정 격차 (AI Coordination Gap)가 발생하는 지점과 이를 어떻게 해소할지를 명시합니다.

명명된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차란 멀티 에이전트 워크플로우 (multi-agent workflow)의 접점에서 발생하는 복합적인 신뢰성 손실을 의미합니다. 이 프레임워크의 5개 계층은 실제 운영 중인 뱅킹 시스템에서 정확도가 누수되는 특정 접점들을 각각 타겟팅합니다.

뱅킹 AI를 위한 5계층 조정 프레임워크

  1

    **계층 1 — 모델 선택 (SLM vs LLM)**

각 작업을 적절한 모델로 라우팅합니다. 대량의 반복적인 작업 (분류, 추출) → 미세 조정된 (fine-tuned) SLM. 소량의 추론 작업 (예외 검토, 고객의 미묘한 뉘앙스) → 프런티어 (frontier) LLM. 입력 변수: 작업량, 민감도, 지연 시간 예산 (latency budget).

↓

  2
...

Pinecone과 같은 벡터 데이터베이스 (vector database) 상의 검색 증강 생성 (RAG)을 사용하여 모든 모델 호출을 정책 문서, 상품 약관 및 규제 규칙에 근거하게 합니다. 이를 통해 환각 (hallucination)된 금리 정보나 규정에 어긋나는 조언을 방지합니다. 지연 시간: 검색 시 약 100–300ms 소요.

↓

  3
...

상태 머신(State Machine)을 정의하십시오: 어떤 에이전트가 언제 실행되는지, 무엇이 핸드오프(handoff)를 트리거하는지, 그리고 상태(state)가 어디에 유지되는지를 결정합니다. 이것이 바로 조정 격차(Coordination Gap)를 메우는 지점입니다 — 암묵적인 기대가 아닌 명시적인 엣지(edges)를 구축하는 것입니다.

↓

  4
...

Model Context Protocol을 통해 에이전트가 핵심 뱅킹 시스템, CRM, 원장(ledgers)을 호출하는 방식을 표준화하십시오. 통합마다 별도의 맞춤형 접착제(bespoke glue)를 만드는 대신, 하나의 감사 가능한 인터페이스를 사용합니다.

↓

  5
...

리스크 임계값을 초과하는 모든 결정은 전체 감사 로그(audit log)와 함께 검증 에이전트 또는 인간 검토자에게 전달됩니다. 이 계층은 83%의 원시 신뢰도(raw reliability)를 99% 이상의 방어 가능한 신뢰도(defensible reliability)로 전환합니다.

순서가 중요합니다: 모델 선택은 레이어 1(Layer 1)이지만, 규제 대상인 뱅킹 배포가 실제로 성공하느냐 실패하느냐는 레이어 3~5(Layers 3–5)에서 결정됩니다.

레이어 1 — 실무에서의 모델 선택 (Model Selection in Practice)

전체 워크플로우에 단 하나의 모델만 선택하지 마십시오. 2026년의 승리 패턴은 이기종 라우팅(heterogeneous routing)입니다: 저렴하게 미세 조정(fine-tuned)된 SLM이 물량의 80%(문서 분류, KYC 필드 추출 등)를 처리하고, 프런티어 LLM(frontier LLM)은 진정한 추론이 필요한 20%의 사례(모호한 예외 사항, 미묘한 불만 사항 등)를 위해 예약합니다. 이 라우팅만으로도 모든 것을 GPT-4o로 실행하는 것에 비해 추론 비용을 60~75% 절감할 수 있습니다. 우리는 라우팅 로직을 도입하기 전, 초기 파일럿 단계에서 값비싼 대가를 치르며 이를 배웠습니다. 멀티 에이전트 시스템(multi-agent systems) 가이드에서 실질적인 라우팅 패턴을 살펴보십시오.

레이어 2 — RAG를 통한 그라운딩 (Grounding with RAG)

어떠한 뱅킹 모델도 파라메트릭 메모리(parametric memory)에 의존하여 답변해서는 안 됩니다. 절대로 말입니다. 모든 금리, 수수료, 자격 규칙은 RAG를 통해 권위 있는 소스로부터 실시간으로 검색되어야 합니다. 환각(hallucination)된 연이율(APR)은 단순한 버그가 아니라 컴플라이언스(compliance) 사고입니다. Pinecone 또는 pgvector 저장소를 인용(citation)이 필수적인 프롬프팅과 결합하여, 모든 출력이 소스 조항과 연결되도록 하십시오. 이는 타협할 수 없는 원칙입니다.

레이어 3 — 격차를 메우는 오케스트레이션 (Orchestration Is Where the Gap Closes)

이것이 프레임워크의 핵심입니다. LangGraph를 사용하면 워크플로우를 명시적인 그래프 (graph)로 모델링할 수 있습니다. 즉, 각 에이전트(agent)를 위한 노드(node), 각 핸드오프(handoff)를 위한 엣지(edge), 그리고 지속적인 상태(persistent state)와 조건부 라우팅(conditional routing)을 포함합니다. 에이전트들이 자유롭게 '대화'하도록 두는 방식(AutoGen의 대화형 패턴)과 비교했을 때, LangGraph 상태 머신 (state machine)은 결정론적이고 감사 가능한 (auditable) 전환을 제공합니다. 규제 기관은 에이전트들이 대화를 통해 스스로 문제를 해결했다고 듣고 싶어 하지 않습니다. 그들은 그래프를 보고 싶어 합니다. 오케스트레이션 레이어 (orchestration layers)에 대한 상세 분석에서 더 자세히 알아보세요.

금융 AI 분야에서 승리하고 있는 기업들은 가장 큰 모델을 가진 기업이 아닙니다. 그들은 그래프를 그린 기업들입니다. 모든 핸드오프(handoff)는 명시적이고, 모든 상태는 유지되며, 모든 결정은 기록됩니다.

레이어 4 — MCP를 통한 표준화된 도구 액세스 (Standardized Tool Access via MCP)

2024년 말 Anthropic이 오픈 소스로 공개하여 현재 널리 채택되고 있는 Model Context Protocol (MCP)는 에이전트와 핵심 시스템 사이의 복잡한 맞춤형 API 접착제 (API glue)를 대체합니다. 대출 실행 시스템 (loan-origination system), CRM, 원장 (ledger)을 위해 각각 커스텀 커넥터를 작성하는 대신, 각 시스템을 MCP 서버 (server)로 노출합니다. 에이전트는 하나의 표준 인터페이스를 통해 이를 발견하고 호출합니다. 6개월 뒤에는 아무도 완전히 이해하지 못하는 일회성 통합의 엉킨 실타래 대신, 보안 검토를 위한 단일화된 감사 가능 표면 (auditable surface)을 갖게 됩니다.