원래 twarx.com에서 게시되었습니다 - 전체 인터랙티브 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 7월 23일

대부분의 금융 서비스 AI 기술 배포는 완전히 잘못된 문제를 해결하고 있습니다. 사람들은 어떤 모델이 가장 똑똑한지에 집착하지만, 실제 실패 원인은 어떤 모델도 그것이 투입된 워크플로 (Workflow)에 적합하게 맞춰지지 않았다는 점입니다. 승리하는 은행들은 더 똑똑한 AI 기술을 구매하는 것이 아니라, 적절한 단계에 적절한 모델을 매칭하고 있습니다.

벤더 부스의 누구도 입 밖으로 내지 않을 불편한 진실을 말씀드리겠습니다: Goldman Sachs가 약 10,000명의 직원에게 GS AI Assistant를 출시할 때, 리스크는 모델이 멍청하다는 것이 아닙니다. 그 헤드라인을 모방하는 모든 은행이 규제 대상 파이프라인 (Pipeline)의 모든 단계에 하나의 프론티어 LLM (Frontier LLM)을 겨냥하고 그것을 전략이라고 부르는 것이 바로 리스크입니다. 이것이 바로 신뢰 데이터가 지적하는 정확한 행동입니다. 2026년 Boomi 연구에 따르면 기업의 86%가 AI 에이전트 (AI Agents)를 배포했지만 오직 34%만이 이를 신뢰하고 있으며 — 52포인트의 격차 — 모델 적합성 (Model fit)과 통합 (Integration)이 근본 원인으로 지목되었습니다. 현재 사용되는 AI 기술 — 기성품 OpenAI 및 Anthropic LLM 대 맞춤형 소형 언어 모델 (SLM, Small Language Models) — 은 대부분의 은행이 잘못 내리고 있는 결정을 강요하고 있습니다.

이 글을 읽으면 무엇을 배포해야 하는지, 비용은 얼마인지, 그리고 신뢰를 무너뜨리는 격차를 어떻게 줄일 수 있는지 정확히 알게 될 것입니다.

금융 서비스 AI 기술에서의 진짜 결정은 모델의 지능이 아니라, 특정 규제 워크플로 (Workflow)에 대한 모델의 적합성입니다. 이것이 바로 **AI 조정 격차 (The AI Coordination Gap)**가 숨어 있는 곳입니다. 출처

왜 SLM vs LLM은 진정으로 AI 조정의 문제인가?

그 Boomi 수치에 숨겨진 불편한 진실은 다음과 같습니다. 배포(86%)와 신뢰(34%) 사이의 52포인트 격차는 모델 품질의 문제가 아닙니다. GPT-4급 및 Claude급 모델들은 놀라울 정도로 유능합니다. 이 격차는 조정 (coordination) 문제입니다. 즉, 범용 모델이 할 수 있는 것과 규제 준수(compliance), 지연 시간(latency), 비용, 데이터 거주성(data-residency) 제약 조건을 모두 포함하는 특정 금융 워크플로우(workflow)가 실제로 요구하는 것 사이의 간극입니다.

각 AI 단계가 97%의 신뢰도를 가진 6단계 대출 심사 파이프라인(pipeline)은 엔드 투 엔드(end-to-end)로 보았을 때 신뢰도가 83%에 불과합니다. 대부분의 은행은 규제 기관을 상대하는 프로세스에 이미 배포한 후에야 이 사실을 깨닫게 됩니다. '신뢰할 수 있는' 에이전트가 6건의 신청 중 1건을 실패한다는 사실을 알게 되기에 너무 늦은 시점입니다. 기성 LLM(Large Language Models)은 모든 단계를 약간의 확률적(probabilistic)인 상태로 만듭니다. 반면 맞춤형 SLM(Small Language Models)을 사용하면 특정 단계를 거의 결정론적(deterministic)인 동작으로 고정할 수 있습니다. 그렇다면 실제로 승리하고 있는 기업은 어디일까요? 가장 큰 모델을 가진 기업이 아닙니다. 체인의 각 단계에서 모델 유형을 작업에 맞춘 기업들입니다. 솔직히 말해서, 대부분의 팀은 감사관 앞에서 무언가 고장 나기 전까지는 자신들의 파이프라인이 몇 단계로 구성되어 있는지조차 모릅니다.

6단계. 97%. 엔드 투 엔드 83%.
0.97^6 = 0.83 — 97% 신뢰도를 가진 6개의 AI 단계가 연결되면 6번 중 1번은 실패하는 워크플로우가 됩니다. 규제 대상인 금융 분야에서 이는 단순한 반올림 오차가 아니라 규제 준수(compliance) 위반 사건입니다.
Twarx 신뢰도 수학 — 다음 모델 선정 검토 시 이 내용을 붙여넣으세요.

명명된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차(AI Coordination Gap)는 모델의 원시 능력(raw capability)과 모델이 작동하는 규제 대상 워크플로우의 실제 요구 사항 사이의 측정 가능한 거리입니다. 이는 정확도(accuracy), 지연 시간(latency), 비용, 데이터 거주성(data residency) 및 감사 가능성(auditability)을 모두 포괄합니다. 이것이 바로 기업의 66%가 배포된 에이전트를 신뢰하지 못하는 진짜 이유이며, 이 격차는 더 똑똑한 모델이 아니라 적절한 단계를 위한 적절한 모델을 맞춤으로써 메워집니다.

특히 금융 서비스의 경우, 제약 사항은 일반 소비자용 AI와는 달리 타협할 수 없는 성격을 띱니다. 펀드의 비용 비율(expense ratio)을 환각(hallucination)하는 자산 관리 에이전트는 규제 대상 사건이 됩니다. 고객 지원 에이전트가 계좌 데이터를 유출하는 것은 GLBA(Gramm-Leach-Bliley Act) 위반입니다. 쿼리당 900ms의 지연 시간(latency)을 추가하는 트레이딩 데스크 요약기는 그 자체의 가치를 파괴합니다. 이러한 제약 사항들이 — 벤치마크 점수가 아니라 — 맞춤형 SLM(Small Language Model)을 배포할지, 기성 LLM(Large Language Model)을 사용할지, 아니면 (보통은) 두 모델의 조화로운 혼합을 사용할지를 결정합니다. OCC의 모델 리스크 관리 지침 (Bulletin 2021-39)은 이 점에 대해 명확히 명시하고 있습니다. 은행은 제3자 AI를 포함한 모든 모델의 출력물에 대해 책임을 져야 하며, 이는 컴플라이언스(compliance) 부담이 벤더(vendor)가 아닌 귀사의 아키텍처(architecture)에 귀속됨을 의미합니다.

86%
의 기업들이 AI 에이전트를 배포했습니다
[Boomi Enterprise AI Study, 2026](https://boomi.com)
...

이 글은 설문 조사가 아닌 프레임워크 분석입니다. 우리는 **AI 조정 격차(The AI Coordination Gap)**를 소개하고, 이를 측정 가능한 계층으로 나누며, 실제 금융 워크플로우(workflow)에서 각 격차가 어떻게 해소되는지 보여줄 것입니다. 또한 Goldman Sachs를 포함한 실제 배포 사례를 살펴보고, 구현 경로와 7가지 질문으로 구성된 FAQ로 마무리할 것입니다. 이 글을 규제 환경에서 AI 기술을 배포하기 위한 운영자 매뉴얼로 취급하십시오.

AI 배포와 AI 신뢰 사이의 52포인트 격차는 모델의 문제가 아닙니다. 그것은 적합성(fit)의 문제입니다. 아무도 모델을 워크플로우에 맞추지 않았습니다. 그들은 단지 구매할 수 있는 가장 똑똑한 모델을 출시했을 뿐입니다.

맞춤형 SLM이란 무엇이며 금융 서비스가 왜 관심을 갖는가?

소형 언어 모델(SLM, Small Language Model)은 Phi-3, Llama 3.1 8B, Mistral 7B 또는 Gemma 2와 같이 약 1B~15B 파라미터(parameter) 범위 내에 있으며, 좁은 도메인에 맞춰 미세 조정(fine-tuning)된 모델을 의미합니다. 기성 대규모 언어 모델(LLM, Large Language Model)은 API를 통해 접근하는 GPT-4급 또는 Claude급과 같은 프런티어 범용 모델입니다. 은행에 중요한 차이점은 규모가 아닙니다. 그것은 바로 _제어 표면(control surface)_입니다.

맞춤형 SLM(Small Language Model)을 사용하면 가중치(weights), 호스팅 환경(hosting environment), 학습에 사용된 데이터, 그리고 업데이트 주기(update cadence)를 직접 제어할 수 있습니다. 이를 자체 VPC(Virtual Private Cloud) 내부나 온프레미스(on-prem)에서 실행하면, 많은 컴플라이언스(compliance) 팀이 퍼블릭 API(public API) 사용을 전면 거부하게 만드는 데이터 거주성(data-residency) 요구 사항을 충족할 수 있습니다. 반면 기성 LLM(Large Language Model)을 사용하면 프런티어급 추론 능력, 제로에 가까운 학습 비용, 즉각적인 성능을 얻을 수 있지만, 제어 표면(control surface)을 빌려 쓰는 셈이며 모든 토큰(token)은 리스크 관리 팀의 승인이 필요한 경계를 넘나들게 됩니다. 저는 '프롬프트가 물리적으로 어디로 가는가?'라는 단 하나의 경계 문제 때문에, 법무 팀과 클라우드 벤더가 데이터 처리 부속 합의서(data-processing addendum)를 두고 논쟁하는 동안 배포가 4개월 동안 지연되는 것을 목격했습니다. 아무도 프로젝트 계획에 그런 상황을 넣지 않았습니다.

단일 A100에서 실행되는 미세 조정(fine-tuned)된 Llama 3.1 8B 모델은 50명 규모의 언더라이팅(underwriting, 인수 심사) 팀에게 프런티어 API 비용의 약 1/20 수준으로 서비스를 제공할 수 있으며, 데이터는 결코 귀사의 VPC를 벗어나지 않습니다. 대량의 좁은 범위의 작업(narrow tasks)에 대해서는, 컴플라이언스 문제를 논하기 전부터 이미 경제성 측면에서 SLM이 승리합니다.

단순한 프레임워크는 'SLM = 저렴하지만 멍청함, LLM = 똑똑하지만 비쌈'입니다. 이러한 프레임워크는 틀렸으며, 이것이 바로 수많은 은행이 미세 조정된 8B 모델로 98%의 정확도로 처리할 수 있는 작업에 대해 프런티어 토큰을 과도하게 구매하는 정확한 이유입니다. 올바른 프레임워크는 다음과 같습니다. 각 특정 단계의 신뢰성, 지연 시간(latency), 비용 및 거주성 프로필에 맞춰 모델 클래스를 매칭하는 것. 그것이 조정(coordination)입니다. 그것이 게임의 전부입니다.

정립된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

금융 워크플로우에서 '조정 격차(Coordination Gap)'는 범용 모델이 좁고 반복적이며 이해관계가 큰(high-stakes) 작업을 수행하는 곳에서 가장 크게 발생합니다. 왜냐하면 그 지점이 바로 역량이 낭비되고, 비용이 부풀려지며, 감사 가능성(auditability)이 가장 취약한 곳이기 때문입니다. 맞춤형 SLM은 바로 그 지점에서 격차를 줄여줍니다.

맞춤형 SLM (Small Language Models)은 은행 자체 환경 내에서 실행되므로, 규제 준수(Compliance) 팀에게 기성 LLM (Large Language Models) API가 제공할 수 없는 제어 영역(Control surface)을 제공합니다. 이것이 2026년 대부분의 금융 AI 기술 프로그램이 직면한 아키텍처상의 갈림길입니다.

AI 조정 격차(AI Coordination Gap)의 5가지 계층은 무엇인가?

SLM과 LLM 중 무엇을 선택할지 적절히 결정하려면, 격차를 측정 가능한 계층으로 분해해야 합니다. 각 계층은 의사결정의 축이 됩니다. 금융 서비스 배포가 신뢰를 얻지 못해 실패한다면, 이는 거의 항상 이 계층 중 하나가 무시되었기 때문이며, 대개 벤치마크 리더보드(Benchmark leaderboard)에 나타나지 않는 계층들 때문입니다.

계층 1: 역량 계층 (The Capability Layer)

이 계층은 대부분의 팀이 평가하려고 애쓰는 유일한 계층입니다. 모델이 작업을 수행할 수 있는가? 미묘한 고객 메모 초안 작성이나 모호한 규제 업데이트 해석과 같은 개방형 추론(Open-ended reasoning)의 경우, 프런티어 LLM (Frontier LLMs)이 여전히 압도적으로 승리합니다. 좁고 잘 정의된 작업(거래 분쟁을 12개 카테고리로 분류, 대출 신청서에서 필드 추출, 표준 KYC 문서 요약 등)의 경우, 미세 조정된(Fine-tuned) SLM은 수천 개의 특정 사례를 학습했기 때문에 범용 LLM과 대등하거나 이를 능가합니다.

여기서 직관에 반하는 부분이 있습니다. 좁은 도메인 작업에서는 미세 조정된 8B SLM이 GPT-4급 모델보다 더 나은 성능을 보이는 경우가 빈번합니다. 프런티어 모델의 광범위함은 오히려 부담(Liability)이 됩니다. 즉, 해당 도메인에 전혀 포함되지 않는 가능성까지 고려하기 때문입니다. 작업별 평가(Task-specific evaluation)에 관한 Anthropic의 문서에서도 정확히 이 점을 지적합니다. 즉, 실제 운영(Production) 결정을 내릴 때는 좁은 범위의 평가(Narrow evals)가 범용 벤치마크를 매번 이긴다는 것입니다.

계층 2: 지연 시간 계층 (The Latency Layer)

금융 워크플로우에는 엄격한 지연 시간 예산(Latency budgets)이 있습니다. 쿼리당 2초를 추가하는 트레이딩 데스크 리서치 요약기는 사용할 수 없습니다. 400ms를 추가하는 실시간 이상 거래 탐지(Fraud-scoring) 에이전트는 결제 SLA(Service Level Agreement)를 위반합니다. 기성 프런티어 LLM은 네트워크 왕복(Network round-trips)과 대기열(Queueing) 문제를 수반하지만, 로컬에 호스팅된 SLM은 이를 완전히 제거합니다. 전용 하드웨어에서 실행되는 7B SLM은 80150ms 내에 결과를 반환하는 반면, 프런티어 API의 왕복 시간은 운영 부하 상황에서 종종 8002000ms에 달합니다.

만약 귀하의 워크플로가 500ms 미만의 지연 시간(latency) 예산을 가지고 있다면 — 사기 점수 산정(fraud scoring), 실시간 컴플라이언스 체크(real-time compliance checks), 세션 내 고객 라우팅(in-session customer routing) 등 — 귀하는 거의 확실하게 커스텀 SLM을 배포하고 있을 것입니다. 어떤 공개 프런티어 API도 부하 상황에서 그 기준을 안정적으로 통과하지 못합니다. 이는 근소한 차이가 아닙니다.

레이어 3: 비용 레이어 (The Cost Layer)

규모가 커지면 토큰당 경제성(per-token economics)이 다른 모든 것을 압도합니다. 프런티어 API를 통해 한 달에 5,000만 건의 에이전트 쿼리를 처리하는 은행은 연간 150만300만 달러를 지출할 수 있습니다. 동일한 볼륨을 자체 호스팅(self-hosted)된 미세 조정(fine-tuned) SLM으로 처리할 경우 — 약 4만12만 달러의 일회성 미세 조정 및 인프라 설정 비용을 제외하면 — 컴퓨팅 비용은 그 비용의 아주 일부분만 발생합니다. 손익분기점은 작업 복잡도에 따라 다르지만 보통 월 200만~500만 쿼리 사이에서 형성됩니다. 이 임계값을 넘어서면 경제성이 자체 호스팅에 유리하지 않다면 오히려 놀라운 일일 것입니다. Google의 Vertex AI 비용 가이드는 대량의 API 지출이 얼마나 빠르게 누적되는지를 뒷받침합니다.

레이어 4: 컴플라이언스 및 데이터 거주성 레이어 (The Compliance & Residency Layer)

이 레이어 하나만으로도 많은 은행에서 공개 API 사용이 제외됩니다. GLBA, SOX, GDPR 및 관할 구역별 데이터 거주성(data-residency) 규칙은 규제 대상 데이터가 통제된 환경을 벗어날 수 없음을 의미합니다. 귀하의 VPC 내에 있는 커스텀 SLM은 모든 토큰을 경계 내에 유지합니다. 이것이 금융 분야의 엔터프라이즈 AI (enterprise AI) 배포가 프런티어 모델의 추론 능력이 약간 더 뛰어남에도 불구하고 자체 호스팅 모델로 크게 기울어지는 이유입니다. 컴플라이언스 팀은 타협하지 않기 때문입니다. 이러한 내부 검토에서 NIST AI 위험 관리 프레임워크 (NIST AI Risk Management Framework)가 점점 더 많이 인용되고 있습니다.

레이어 5: 감사 가능성 레이어 (The Auditability Layer)

규제 기관들은 모델 계보 (Model Lineage)를 점점 더 강력하게 요구하고 있습니다: 어떤 데이터로 학습되었는지, 특정 질의에 어떤 버전이 답변했는지, 그리고 결정이 어떻게 도출되었는지와 같은 사항들입니다. 커스텀 SLM (Small Language Model)을 사용하면 전체 계보를 직접 소유할 수 있습니다. 반면, 기성 LLM (Large Language Model)을 사용하면 벤더의 버전 고정 (Version Pinning) 및 문서화에 의존해야 합니다. 그리고 모델의 무음 업데이트 (Silent Model Updates)는 감사관에게 재현할 수 없는 변화된 동작을 마주하게 되어 팀을 곤경에 빠뜨리기도 했습니다. 저는 실제로 이런 일이 발생하는 것을 목격했습니다. 이는 이론적인 위험이 아닙니다.

AI 조정 격차 해소: 하이브리드 SLM+LLM 언더라이팅 파이프라인 (Underwriting Pipeline)

  1

    **인테이크 SLM (Intake SLM) (Llama 3.1 8B, 미세 조정됨, VPC 내부)**