원문은 twarx.com에서 처음 게시되었습니다 - 전체 대화형 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 7월 6일

금융 서비스 분야의 대부분의 AI 기술 배포는 완전히 잘못된 문제를 해결하고 있습니다. 실제 병목 현상은 규제 제약 하에서 AI 기술 모델들이 어떻게 조정(coordinate)되느냐에 있음에도 불구하고, 기업들은 어떤 모델을 구매할지에만 최적화하고 있습니다. 이는 현재 매우 중요한 문제인데, McKinsey와 Gartner 모두 에이전트형 AI(agentic AI)를 2026년 효과적인 뱅킹 전략의 결정적인 특징으로 지목했기 때문입니다. 하지만 도구에 관한 논쟁은 '맞춤형 소형 언어 모델 (SLM)을 미세 조정(fine-tune)할 것인가, 아니면 GPT-4o나 Claude와 같은 프런티어 LLM을 빌려 쓸 것인가'라는 잘못된 이분법에 빠져 있습니다.

LangGraph, Anthropic의 MCP, 그리고 n8n 오케스트레이션(orchestration)과 같은 도구들이 조용히 그 해답을 바꾸어 놓았습니다. 이 글을 읽고 나면, 어떤 모델 클래스를 어디에 배포해야 하는지, 비용은 얼마인지, 그리고 대부분의 은행 AI 프로그램을 침몰시키는 조정 격차(coordination gap)를 어떻게 메울 수 있는지 정확히 알게 될 것입니다.

실제 금융 서비스 스택은 단 하나의 모델만을 선택하는 경우가 드뭅니다. 대신 오케스트레이션 계층을 통해 맞춤형 SLM과 기성 LLM 사이에서 경로를 라우팅(route)합니다. 바로 이 지점에 AI 조정 격차(AI Coordination Gap)가 존재합니다.

개요: SLM 대 LLM 논쟁이 잘못 설정된 이유

2026년 어느 은행의 AI 운영 위원회에 들어가 보면 똑같은 논쟁을 듣게 될 것입니다. 구매 부서는 저렴하고 프라이빗한 온프레미스(on-prem) 맞춤형 SLM을 원하고, 혁신 팀은 강력한 기성 LLM을 원합니다. 둘 다 부분적으로는 맞습니다. 하지만 둘 다 실제 실패 모드(failure mode)를 놓치고 있습니다.

여기 직관에 반하는 진실이 있습니다. 여러분이 선택한 모델이 AI 프로그램의 성공 여부를 결정하는 경우는 거의 없습니다. 각 모델 호출의 신뢰도가 97%인 6단계 컴플라이언스 (compliance) 워크플로우는 엔드 투 엔드 (end-to-end)로 보았을 때 신뢰도가 약 83%에 불과합니다. 대부분의 은행은 이미 서비스를 출시한 후에야 이 산술적인 사실을 깨닫게 됩니다. 보통 규제 기관이 대출 심사 에이전트 (loan adjudication agent)가 왜 정책 예외 사항을 환각 (hallucination) 했는지 물어볼 때 말이죠. 저는 이런 일이 발생하는 것을 목격해 왔습니다. 이것은 모델의 문제가 아닙니다. 설계 (design)의 문제입니다.

이것은 실질적인 문제입니다. 금융 서비스는 에이전틱 AI (agentic AI) 지출이 가장 큰 단일 수직 시장 (vertical)이 될 것으로 예상되며, 잘 조정된 배포와 미숙한 배포 사이의 차이는 수백만 달러에 달하는 재작업 방지, 사기 노출 방지, 그리고 컴플라이언스 (compliance) 벌금 규모로 측정됩니다. 근본적인 변화에 대한 더 광범위한 입문서를 원하신다면, 에이전틱 AI 설명 (agentic AI explained) 개요를 참조하십시오.

$1.3T
AI가 글로벌 뱅킹에 추가할 수 있을 것으로 예상되는 연간 가치
[McKinsey, 2025](https://www.mckinsey.com/industries/financial-services)
...

그 40%의 취소 수치를 반드시 명심해야 합니다. 이러한 프로젝트들이 실패하는 이유는 GPT-4o가 충분히 똑똑하지 않아서도, 미세 조정된 (fine-tuned) SLM이 충분히 정확하지 않아서도 아닙니다. 모델, 검색 시스템 (retrieval system), 컴플라이언스 게이트 (compliance gate), 감사 로그 (audit log), 그리고 인간 검토자 (human reviewer) 사이의 인계 (handoff) 과정을 설계한 사람이 아무도 없기 때문에 실패하는 것입니다. 아무도 그 영역을 책임지지 않았습니다. 그리고 뱅킹 분야에서 책임지지 않는 영역은 곧 법적 책임 (liability)이 발생하는 곳입니다.

이 글에서는 정확히 왜 그런 일이 발생하는지 진단하기 위해 제가 사용해 온 프레임워크 (framework)를 소개합니다. 이 프레임워크는 실제로 고장이 발생하는 레이어 (layer)를 중심으로 SLM 대 LLM 결정 전체를 재구성합니다.

명명된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차 (AI Coordination Gap)란 단일 모델 내부가 아니라, AI 구성 요소들 '사이'의 인계 (handoff) 과정에서 발생하는 복합적인 신뢰도 및 거버넌스 (governance) 손실을 의미합니다. 금융 서비스에서 이는 개별적으로는 정확한 모델들이 집합적으로는 신뢰할 수 없는 결과를 만들어내는 시스템적 문제를 지칭하며, 그 원인은 아무도 조정 레이어 (coordination layer)를 설계하지 않았기 때문입니다.

우리는 이 격차를 다섯 가지 명칭이 붙은 레이어(layer)로 나누어 살펴보고, 맞춤형 SLM과 기성 LLM이 각 레이어에 어떻게 부합하는지 보여줄 것입니다. 또한 특정 금융 기관의 실제 배포 사례를 살펴보고, 에이전트형 AI (agentic AI)부터 MCP에 이르기까지 모든 내용을 다루는 실무적인 FAQ로 마무리하겠습니다.

은행이 AI 프로그램을 실패하는 이유는 모델의 정확도 때문이 아닙니다. 모델과 컴플라이언스 게이트 (compliance gate) 사이의 문서화되지 않은 공간, 즉 아무도 책임지지 않는 조정 격차 (coordination gap) 때문입니다.

맞춤형 SLM vs 기성 LLM이란 무엇인가?

프레임워크를 살펴보기 전에 정확한 정의를 내리겠습니다. 대부분의 운영 위원회 (steering-committee)가 겪는 혼란은 용어의 혼란에서 비롯되기 때문입니다.

맞춤형 소형 언어 모델 (Custom Small Language Models, SLMs)

맞춤형 SLM은 일반적으로 1B에서 15B 사이의 파라미터(parameters)를 가진 더 작은 모델로, 자체 도메인 데이터로 미세 조정 (fine-tune) 하여 직접 제어하는 인프라에서 실행합니다. 귀하의 거래 분쟁 기록에 맞춰 조정된 미세 조정된 Llama 3.1 8B, Mistral 7B, 또는 Microsoft의 Phi-3를 생각하면 됩니다. 이 모델들은 거래 분류, KYC 문서 추출, 의도 분류 (intent classification), 사기 신호 강화 (fraud signal enrichment)와 같이 범위가 좁고, 볼륨이 크며, 잘 정의된 작업에 대해 오늘 바로 프로덕션 (production)에 투입할 수 있는 수준입니다.

이들의 장점은 구체적입니다: 100ms 미만의 지연 시간 (latency), 1,000회 추론당 한 자릿수 센트 수준의 비용, 완전한 데이터 레지던시 (data residency, GDPR, GLBA 및 지역 은행 규정에 따라 매우 중요), 그리고 실제로 감사 (audit)할 수 있는 결정론적 동작 (deterministic behavior)입니다. 약점은 범용성입니다. 학습 분포 (training distribution) 밖의 작업을 수행하도록 밀어붙이면, 이들은 매우 확신에 차서 빠르게 무너집니다. 기초적인 설명을 원하신다면 프로덕션 환경에서의 소형 언어 모델 (small language models in production) 가이드를 참조하십시오.

기성 LLM (Off-the-Shelf LLMs)

기성 LLM (Off-the-shelf LLMs)은 API를 통해 접근하는 프런티어 모델(Frontier models)입니다 — OpenAI의 GPT-4o, Anthropic의 Claude 3.5/4, Google의 Gemini 등이 이에 해당합니다. 이들은 개방형 추론 (Open-ended reasoning), 다단계 계획 (Multi-step planning), 긴 문서에 걸친 종합 (Synthesizing across long documents), 그리고 비정형적인 쿼리의 롱테일 (Long tail) 처리에 탁월합니다. 복잡한 판결 (Complex adjudication), 관계 관리자 코파일럿 (Relationship-manager copilots), 그리고 입력 공간이 진정으로 무제한인 모든 작업에 적합한 선택입니다.

금융권에서의 약점 또한 매우 구체적입니다: 대규모 운영 시 발생하는 토큰당 비용 (Per-token cost), 데이터 유출 (Data-egress) 및 데이터 거주성 (Residency) 문제, 비결정론 (Non-determinism), 그리고 가격 책정 및 모델 단종 (Model deprecation)에 따른 벤더 종속 (Vendor lock-in) 문제입니다. 가격 책정 리스크만 해도 과소평가되어 있습니다 — 저는 계약 중간에 모델 티어의 가격이 재조정되어 유닛 이코노믹스 (Unit economics)를 구축했던 팀들을 본 적이 있습니다.

| 차원 (Dimension) | 맞춤형 SLM (미세 조정됨) | 기성 LLM (API) |
| :--- | :--- | : |
| 일반적인 크기 | 1B–15B 파라미터 (params) | 200B+ 파라미터 (params) (프런티어) |
| 지연 시간 (Latency, p50) | 20–120ms | 400ms–3s |
| 100만 토큰당 비용 | ~$0.05–0.30 (자체 호스팅) | $2.50–15.00 |
| 데이터 거주성 (Data residency) | 완전한 제어, 온프레미스 (On-prem)/VPC | 벤더의 DPA에 따라 다름 |
| 추론 범위 (Reasoning breadth) | 좁음, 분포 내 (In-distribution) | 넓음, 개방형 (Open-ended) |
| 최적의 사용 사례 | 대량 분류 (Classification), 추출 (Extraction) | 복잡한 판결 (Adjudication), 코파일럿 (Copilots) |
| 감사 결정론 (Audit determinism) | 높음 (고정된 가중치) | 낮음 (모델 업데이트) |
| 규제 편의성 (Regulatory comfort) | 더 높음 | 거버넌스 래퍼 (Governance wrapper) 필요 |

80ms의 지연 시간과 100만 토큰당 $0.08의 비용으로 거래 분류를 처리하는 미세 조정된 Phi-3 SLM은, 대규모 운영 시 GPT-4o보다 비용 면에서 약 40배 더 효율적일 것입니다 — 하지만 이는 일상적인 쿼리인 70%에 대해서만 해당됩니다. 나머지 30%가 바로 LLM이 필요한 영역이며, 조정 격차 (Coordination gap)가 발생하는 지점입니다.

맞춤형 SLM 대 기성 LLM의 트레이드오프 (Tradeoff)는 단 한 번의 결정이 아닙니다 — 이는 조정 계층 (Coordination layer) 내부에서 초당 수백 번씩 이루어지는 라우팅 결정 (Routing decision)입니다.

AI 조정 격차의 5가지 계층

조정 격차 (Coordination gap)는 단 하나의 구멍이 아닙니다. 이는 신뢰성이 누수되는 다섯 개의 뚜렷한 이음새 (seams)입니다. 어떤 이음새가 실패하고 있는지 진단하는 것은 그 해답이 SLM인지, LLM인지, 아니면 그들 사이의 더 나은 배관 (plumbing)인지 알려줍니다. 이 진단을 잘못 내리는 것은 수개월의 시간을 허비하게 만듭니다.

AI 조정 격차: 대출 심사 파이프라인의 5가지 계층

  1

    **라우팅 계층 (Routing Layer, SLM 분류기)**

미세 조정된 (fine-tuned) SLM이 유입되는 각 신청서를 분류합니다: 일상적인 건 (자동 승인 경로) vs 복잡한 건 (LLM 심사). 입력: 신청자 데이터. 출력: 라우팅 결정 + 신뢰도 (confidence). 지연 시간 (Latency) 예산: 100ms 미만.

↓

  2
...

Pinecone 또는 pgvector가 현재 정책 문서, 이전 결정 사항, 규제 지침을 가져옵니다. 입력: 쿼리 임베딩 (query embedding). 출력: 근거가 있는 컨텍스트 (grounded context). 이곳은 모델이 아니라 시스템에 의해 환각 (hallucination)이 방지되는 지점입니다.

↓

  3
...

Claude 또는 GPT-4o가 복잡한 사례에 대해서만 실제 심사 추론 (adjudication reasoning)을 수행합니다. 입력: 신청서 + 검색된 정책. 출력: 권고 사항 + 인용된 근거. 비결정론적 (Non-deterministic)이며, 반드시 로그로 기록되어야 합니다.

↓

  4
...

규칙 엔진 (rules engine) + SLM 검증기 (validator)가 LLM의 출력을 엄격한 제약 조건 (공정 대출 규칙, 익스포저 한도)과 대조하여 확인합니다. 모델이 아닌 코드 영역입니다. 거부하거나 에스컬레이션 (escalate)합니다. 이 계층은 프로젝트의 40%가 존재했어야 했으나 존재하지 않았던 지점입니다.

↓

  5
...

모든 결정, 프롬프트, 검색, 모델 버전은 불변하게 (immutably) 기록됩니다. 인간 검토자는 구조화된 에스컬레이션을 전달받습니다. 입력: 전체 트레이스 (full trace). 출력: 규제 기관을 위한 감사 가능한 기록 (auditable record).

이 순서는 매우 중요합니다. SLM은 파이프라인의 양 끝(라우팅, 검증)을 담당하고, LLM은 중간에서 제한된 추론을 수행합니다. 즉, 조정 (coordination)은 모델의 문제가 아니라 설계의 문제입니다.

계층 1: 라우팅 계층 (The Routing Layer)

이곳이 바로 맞춤형 SLM (Small Language Model)이 제 역할을 다하는 지점입니다. 미세 조정된 분류기 (fine-tuned classifier)는 어떤 요청이 비용이 많이 드는 최첨단 추론 (frontier reasoning)을 필요로 하는지, 그리고 어떤 요청이 저렴하게 또는 결정론적 규칙 (deterministic rules)에 의해 처리될 수 있는지를 결정합니다. 이를 잘못 설정하면 모든 요청을 GPT-4o로 보내 유닛 이코노믹스 (unit economics)를 파산시키거나, 정작 필요한 복잡한 사례를 놓치는 상황이 발생합니다. LangGraph와 같은 도구를 사용하면 이러한 라우팅 (routing)을 신뢰도 임계값 (confidence thresholds)을 가진 명시적인 그래프 엣지 (graph edge)로 인코딩할 수 있습니다. 이는 선택적인 아키텍처가 아닙니다. 프로그램 전체의 경제적 토대입니다.

계층 2: 검색 계층 (The Retrieval Layer)

금융권 AI에서 발생하는 대부분의 환각 (hallucinations)은 모델의 실패가 아니라 검색 (retrieval)의 실패입니다. 만약 RAG (Retrieval-Augmented Generation) 파이프라인이 현재 정책 대신 지난 분기의 대출 정책을 불러온다면, 완벽한 LLM (Large Language Model)이라 할지라도 잘못된 규칙을 자신 있게 인용할 것입니다. 팀들이 벡터 데이터베이스 (vector database)가 실제 원인임에도 불구하고 모델을 탓하며 몇 주 동안 미세 조정 (fine-tuning)에 시간을 허비하는 경우가 얼마나 빈번한지 아무리 강조해도 지나치지 않습니다. Pinecone과 같은 벡터 데이터베이스와 하이브리드 검색 (hybrid search)이 이 계층에서의 진정한 신뢰성 레버 (reliability lever)입니다.

계층 3: 추론 계층 (The Reasoning Layer)

기성 LLM이 제 역할을 수행하는 곳은 오직 이곳뿐이며, 라우팅 계층이 전달한 제한된 하위 집합에 대해서만 작동합니다. 이 계층은 호출당 비용이 가장 많이 들며, 모든 사람이 과도하게 집중하는 계층이기도 합니다. 이 계층을 엄격하게 제약하십시오. 검색된 컨텍스트 (context)를 제공하고, 인용된 근거 (cited rationale)를 강제하며, 고객에게 전달되는 출력물이 나오기 전 마지막 결정권자가 되지 않도록 하십시오.

계층 4: 거버넌스 계층 (The Governance Layer)

이것은 대부분의 실패한 프로그램에서 누락된 계층입니다. 결정론적 게이트(Deterministic gate) — 종종 규칙 엔진(Rules engine)과 소규모 검증용 SLM(Small Language Model)의 결합 — 가 고객에게 도달하기 전, 협상 불가능한 제약 조건들을 기준으로 LLM의 출력을 검사합니다. 공정 대출 준수(Fair-lending compliance), 익스포저 한도(Exposure limits), 공시 요구 사항(Disclosure requirements)은 프롬프트 지침(Prompt instructions)이 아닌 코드로 이곳에 존재합니다. 프롬프트는 거버넌스가 아닙니다. 감독관이 나타났을 때 그 차이가 중요해질 것입니다. 더 심도 있는 내용을 원하시면 규제 산업을 위한 AI 거버넌스(AI governance for regulated industries) 가이드를 참조하십시오.

정립된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

'우리 AI가 정책 예외 사항을 환각(Hallucination)했다'라는 말을 들으면, 이를 '우리에게 거버넌스 계층이 없었다'로 번역하십시오. AI 조정 격차(AI Coordination Gap)는 거의 항상 계층 3(Layer 3)의 모델 문제로 위장된 계층 4(Layer 4)의 실패입니다.

계층 5: 감사 및 핸드백 계층 (The Audit & Handback Layer)