원문은 twarx.com에서 처음 게시되었습니다 - 전체 대화형 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 7월 7일

2023년에 범용 LLM (Large Language Model)을 도입했던 모든 은행은 2025년에 **금융 서비스를 위한 맞춤형 SLM (Small Language Model)**으로 조용히 재구축하고 있습니다. 이는 거대 모델들이 지능 면에서 실패했기 때문이 아니라, 책임성 (Accountability) 면에서 실패했기 때문입니다. 이것이 현재 모든 규제 대상 금융 기업이 직면한 구축(Build) 대 구매(Buy)의 의사결정 문제입니다. 즉, Azure AI Foundry 또는 AWS Local Zones를 통해 온프레미스 (On-premise)로 배포된 미세 조정된 소형 언어 모델 (Phi-3, Mistral 7B, Llama 3.1 8B)을 사용할 것인가, 아니면 GPT-4o 및 Claude API 호출을 사용할 것인가의 문제입니다. 이번 주 Microsoft와 함께 진행된 Inception42의 아랍어 기업용 모델 출시는 하나의 신호이지, 예외적인 현상이 아닙니다.

이 글을 다 읽을 때쯤 여러분은 운영 위원회 (Steering committee)에 가져갈 수 있는 점수 산정 프레임워크, 8가지 금융 유스케이스 (Use cases)에 대한 의사결정 매트릭스, 그리고 5단계 구현 로드맵을 갖게 될 것입니다.

준수성 추론 격차 (Compliance Inference Gap) — 즉, 확신에 찬 LLM의 답변과 법적으로 방어 가능한 금융 출력물 사이의 거리를 시각화한 것입니다. 이 격차를 메우기 위해 금융 서비스를 위한 맞춤형 SLM이 설계되었습니다. 출처

금융 서비스가 범용 LLM에게 가장 어려운 환경인 이유

금융이 어려운 AI 환경인 이유는 언어가 복잡하기 때문이 아닙니다. 확신을 가지고 틀리는 것이 단순한 불편함이 아니라 규제 대상 사건 (Regulatory event)이 되기 때문입니다. 유용성에 최적화된 범용 모델은 항상 답변을 생성할 것이며, MiFID II 적합성 평가 (Suitability assessment)에서 방어 가능한 출처 체인 (Provenance chain)이 없는 답변은 부채 (Liability)가 됩니다. 그것으로 끝입니다.

GPT-4o와 Claude가 기본적으로 통과할 수 없는 세 가지 규제 지뢰 (Regulatory tripwires)

기성 모델(off-the-shelf model)과 실제 금융 워크플로우(production financial workflow) 사이에는 세 가지 구조적 제약 사항이 존재합니다:

• MiFID II 제25조 적합성 의무 (suitability obligations) — 조언은 문서화된 고객 프로필 및 상품 로직에 따라 추적 가능해야 합니다. 권장 사항 뒤에 숨겨진 정확한 추론 과정을 재현할 수 없는 확률적 모델(stochastic model)은 기록 보관(record-keeping) 테스트를 통과할 수 없습니다. 전체 텍스트는 ESMA MiFID II rulebook을 참조하십시오.

• SEC AI 가이드라인 (2024) — SEC의 예측 데이터 분석에 관한 규칙 제안은 기업이 AI 출력물에 내재된 이해상충(conflicts)을 식별하고 중립화할 것을 요구합니다. 검사할 수 없는 것은 중립화할 수 없습니다.

• 데이터 거주성 (Data residency) — CBUAE, EU GDPR 및 APAC 프레임워크는 고객의 개인정보(PII)를 미국에 호스팅된 추론 엔드포인트(inference endpoint)로 전송하는 것을 빈번하게 금지합니다. 이것만으로도 많은 고객 대면 워크플로우에서 기본 SaaS 경로를 배제하게 됩니다. GDPR 본문 자체는 국경 간 데이터 전송에 대해 명확하게 규정하고 있습니다.

금융 추론 체인에서 환각(hallucination) 위험이 증폭되는 방식

금융 분야에서 환각(hallucination)은 단순한 반올림 오차가 아니라, 복리로 증폭되는 문제입니다. IBM 연구에 따르면, 검색 기반 근거(retrieval grounding)가 없는 도메인 특화 금융 Q&A에서 LLM의 환각률은 15~27% 사이를 유지합니다. 이를 다단계 추론 워크플로우(multi-step reasoning workflow)에 적용하면 신뢰성은 빠르게 붕괴됩니다.

각 단계의 정확도가 92%인 6단계 신용 결정 체인(credit-decisioning chain)의 경우, 전체 프로세스의 신뢰도는 단 60%에 불과합니다 ($0.92^6$). 대부분의 은행은 모델이 이미 한 분기 동안 실제 운영(production)된 후에야 이 사실을 깨닫게 됩니다.

유럽의 한 Tier-1 은행의 2024년 내부 감사 결과에 따르면, GPT-4 기반의 계약 검토 도구가 ISDA 조항의 34%를 잘못 식별하였으며, 이로 인해 210만 유로($2.1M)의 비용이 소요되는 전체 복구 프로그램(remediation programme)이 가동되었습니다. 모델이 멍청했던 것이 아닙니다. 모델은 근거가 부족(ungrounded)했고, 감사 불가능(unauditable)했으며, 법적으로 두 가지 요소가 모두 요구되는 워크플로우(workflow)에 배치되었습니다. 저는 모든 규모의 기관에서 이러한 패턴이 반복되는 것을 목격했습니다. 데모(demo)에서는 괜찮아 보이던 모델이 운영(production) 환경에서 폭발하는 것입니다.

컴플라이언스 추론 격차(The Compliance Inference Gap): 이 글이 해결하고자 하는 핵심 문제 정의

프레임워크 명칭

컴플라이언스 추론 격차(The Compliance Inference Gap) — 범용 LLM이 자신 있게 출력하는 내용과 규제 대상인 금융 워크플로우가 법적으로 요구하는 내용 사이의 측정 가능한 거리. 이 격차는 오직 도메인 특화 SLM 학습과 검색 기반 추론(retrieval-grounded inference)을 통해서만 메울 수 있습니다.

이는 유창한 유용성(fluent helpfulness)에 최적화된 모델과 출처(provenance), 감사 가능성(auditability), 데이터 거주성(data-residency) 법률의 통제를 받는 워크플로우 사이의 시스템적 불일치를 지칭합니다. 이 격차(Gap)는 측정 가능하며, 이를 측정하는 것이 격차를 줄이는 첫 번째 단계입니다.

15–27%
근거가 없는 금융 Q&A에서의 LLM 환각(hallucination) 비율
[IBM Research, 2024](https://www.ibm.com/think/topics/ai-hallucinations)
...

컴플라이언스 추론 격차 프레임워크: 5단계 진단

격차는 단 하나의 문제가 아니라 다섯 가지의 문제입니다. 각 레이어(layer)에 대해 1~5점(1 = 사소함, 5 = 심각함)을 부여하여 총 25점 만점의 **컴플라이언스 추론 격차 점수(Compliance Inference Gap Score)**를 산출합니다. 특정 워크플로우에 대해 25점 만점 중 15점 이상을 기록한 기업은 기성품 LLM(off-the-shelf LLMs) 도입 시 순 ROI(net-negative ROI)가 마이너스가 될 후보군이며, 금융 서비스를 위한 맞춤형 SLM을 구축해야 합니다.

레이어 1 — 데이터 주권(Data Sovereignty): 모델이 학습하는 위치 vs 데이터가 존재해야 하는 위치

추론(Inference)이 물리적으로 어디에서 실행되며, 학습 및 검색 데이터는 어디에 저장되어 있습니까? 만약 워크플로가 GDPR 또는 CBUAE 거주성 규칙(residency rules)에 따른 개인정보(PII)를 다룬다면, 토큰을 미국 엔드포인트로 전송하는 것은 회색 지대가 아니라 거버넌스 실패입니다. AWS Local Zones 배포 패턴은 추론을 특정 관할 구역 내에 유지하기 위한 운영 환경용(production-ready) 솔루션이며, EU 및 APAC 은행들의 일반적인 레이어 1(Layer 1) 아키텍처가 되었습니다.

레이어 2 — 감사 가능성(Auditability): 규제 기관에 추론 경로를 설명할 수 있는가?

몇 달 후에 특정 출력을 생성한 정확한 문서와 모델 버전이 무엇인지 재구성할 수 있습니까? 기성 API(Off-the-shelf APIs)는 응답을 제공할 뿐, 출처 체인(provenance chain)을 제공하지 않습니다. 이는 제가 수행한 모든 격차 분석(gap assessment)에서 가장 과소평가된 레이어이며, EU AI Act가 반드시 준수하도록 강제할 사항입니다.

레이어 3 — 지연 시간 허용치(Latency Tolerance): 실시간 사기 탐지 vs 비동기 문서 검토

실시간 자금세탁방지(AML) 트랜잭션 스코어링은 100ms 미만의 추론 속도가 필요합니다. 반면 비동기 규제 보고서 초안 작성은 몇 초 정도의 지연을 허용할 수 있습니다. 전용 하드웨어에서 실행되는 소규모 미세 조정(fine-tuned) 모델은 꼬리 지연 시간(tail latency) 측면에서 프런티어 API(frontier API)를 능가하는 경우가 많으며, 이는 마케팅 문구가 아닌 사기 탐지 및 결제 워크플로를 위한 진정한 구조적 이점입니다.

레이어 4 — 도메인 어휘 표류(Domain Vocabulary Drift): 금융 전문 용어가 일반 토크나이저를 망가뜨리는 이유

일반 토크나이저(General tokenisers)는 'CUSIP', 'ISDA CSA', 'SOFR reset'과 같은 금융 용어를 비효율적인 서브워드(sub-word) 덩어리로 파편화하여 정확도와 비용을 모두 저하시킵니다. BloombergGPT (50B 파라미터, 363B 금융 토큰으로 학습)는 훨씬 더 작은 규모임에도 불구하고 금융 NLP 벤치마크에서 GPT-4보다 뛰어난 성능을 보였습니다. 여기서 얻을 교훈은 규모가 아니라 도메인 적합성(domain fit)입니다.

금융 분야에서는 올바른 토큰으로 학습된 작은 모델이 인터넷 전체를 학습한 더 큰 모델을 이깁니다. 도메인 적합성은 파라미터 수로는 살 수 없는 해자(moat)입니다.

레이어 5 — 규모에 따른 비용(Cost at Scale): 월간 1,000만 건 이상의 호출에 따른 추론당 경제성

파일럿 규모(pilot scale)에서는 API 가격 책정이 기본적으로 무의미합니다. 하지만 월간 호출 수가 1,000만 건을 넘어가면, 그것이 손익계산서(P&L)를 좌우합니다. Infosys의 2025년 SLM 백서에 따르면, 금융 문서 작업 시 GPT-4급 모델에서 미세 조정(fine-tuned)된 7B13B SLM으로 전환할 경우 추론 비용(inference cost)이 6070% 절감되는 것으로 보고되었습니다. 이 수치는 여러 고객 배포 사례 전반에서 유지되는 것으로, 특이치가 아닙니다.

컴플라이언스 추론 격차 프레임워크(Compliance Inference Gap Framework)를 활용한 워크플로 점수 산정

  1

    **레이어 1 — 데이터 주권 (Data Sovereignty)**

이 워크플로가 거주성 법률(residency law)에 따른 개인정보(PII)를 다룹니까? 예 = 5점, 탐색적 내부 데이터 = 1점.

↓

  2
...

규제 기관을 위해 추론 경로(inference path)를 재현해야 합니까? 신용/자금세탁방지(AML) = 5점, 코드 생성(code gen) = 1점.

↓

  3
...

100ms 미만의 요구사항 = 5점, 야간 배치(overnight batch) = 1점.

↓

  4
...

밀집된 도메인 전문 용어(domain jargon) = 5점, 일반 영어 요약(plain-English summarisation) = 1점.

↓

  5
...

월간 1,000만 건 이상의 호출 = 5점, 10만 건 미만 = 1점. 다섯 가지 항목을 모두 합산하십시오: 25점 중 15점 초과 → 맞춤형 SLM 구축.

이 시퀀스가 중요한 이유는 단 하나의 심각한 레이어(거주성 또는 감사 가능성)가 낮은 총점을 무시하고 우선할 수 있기 때문입니다. 이는 단순한 합계가 아니라 엄격한 관문(hard gate)입니다.

AML 모니터링 워크플로에 대해 작성된 컴플라이언스 추론 격차 스코어카드로, 25점 만점에 21점을 기록했습니다 — 명확한 맞춤형 SLM 후보입니다. 출처

맞춤형 SLM의 정의: 금융 맥락에서 '맞춤형(Custom)'이 실제로 의미하는 것

'맞춤형(Custom)'은 의미가 과하게 부여된 단어입니다. 금융 서비스 분야에서는 비용과 통제 프로필이 근본적으로 다른 세 가지 구체적인 구축 경로로 압축됩니다.

세 가지 구축 경로: 전체 사전 학습(full pre-training), 지속적 사전 학습(continued pre-training), 그리고 지도 미세 조정(supervised fine-tuning)

• 전체 사전 학습 (Full pre-training) — 수조 개의 토큰을 사용하여 처음부터 학습하는 방식입니다. BloombergGPT 규모의 플레이어들만이 이를 수행합니다. 99%의 기업에게 이는 잘못된 선택입니다.

• 지속적 사전 학습 (Continued pre-training) — 베이스 모델(Llama 3.1 8B)을 가져와 대규모의 독점 금융 코퍼스(proprietary financial corpus)로 학습을 이어가는 방식입니다. 적절한 비용으로 도메인 어휘(domain vocabulary)의 깊이를 더할 수 있습니다.

• 지도 미세 조정 (Supervised fine-tuning, SFT) — 선별된 예시를 통해 기존 모델에게 귀사의 추론 스타일(reasoning style), 컴플라이언스 톤(compliance tone), 그리고 출력 형식(output format)을 가르치는 방식입니다. 2025년 현재 대부분의 실제 운영 중인 금융 SLM은 바로 이 단계에 위치합니다.

2025년 1분기 기준, 금융 SLM 프로젝트를 위해 가장 많이 배포된 베이스 모델은 Phi-3 Mini (3.8B), Mistral 7B, 그리고 Llama 3.1 8B입니다. 이 모델들은 모두 GPU 비용과 추론 품질(reasoning quality) 사이의 균형을 맞추는 1B~13B 파라미터 범위에 속합니다.

RAG 증강 SLM vs 미세 조정된 SLM: 각각 어떤 문제를 해결하는가

팀들이 저지르는 가장 비용이 많이 드는 실수는 RAG와 미세 조정(fine-tuning)을 대체재로 취급하는 것입니다. 이 둘은 서로 직교하는(orthogonal) 문제를 해결합니다.

• RAG는 지식의 최신성(knowledge freshness) 문제를 해결합니다 — 벡터 데이터베이스(Pinecone, Weaviate, pgvector)로부터 오늘의 금리표, 이번 분기 정책, 특정 고객의 파일을 검색해 옵니다.

• 미세 조정은 추론 스타일, 컴플라이언스 톤, 그리고 도메인 어휘 문제를 해결합니다 — 모델이 오늘 무엇을 아느냐가 아니라, 모델이 어떻게 생각하고 말하느냐의 문제입니다.

실제 운영 환경에서의 경험칙(Rule of thumb): 만약 문제가 '모델이 최신 데이터를 모른다'라면 → RAG를 사용하십시오. 만약 문제가 '모델이 컴플라이언스를 준수하는 분석가처럼 말하거나 추론하지 못한다'라면 → 미세 조정을 수행하십시오. 대부분의 실제 배포 사례는 두 가지 모두를 필요로 합니다.

2025년 도메인 특화 엔터프라이즈 SLM의 증거로서의 Inception42 모델

2025년 Microsoft Azure AI Foundry에서 출시된 Inception42의 아랍어 엔터프라이즈 AI 모델은 규제 산업이 나아갈 방향을 보여주는 가장 명확한 최근의 신호입니다. 이 모델은 UAE CBUAE의 데이터 거주성(Data Residency) 규칙을 준수하면서, 아랍어 금융 문서 작업에서 GPT-4o를 능가하는 성능을 보이는 것으로 보고되었습니다. 이러한 조합, 즉 도메인 성능 우위와 관할권 준수(Jurisdictional Compliance)의 결합은 바로 프런티어 API(Frontier APIs)가 기본적으로 제공할 수 없는 것입니다.

이러한 모델들을 워크플로(Workflow)로 전환하기 위해, 팀들은 이를 오케스트레이션 프레임워크(Orchestration Frameworks)로 감싸서 사용합니다. LangGraph와 AutoGen은 대출 실행(Loan Origination), 자금세탁방지(AML) 경보 분류, 실적 발표(Earnings Call) 분석과 같이 결정론적 상태(Deterministic State)와 감사 추적(Audit Trails)이 실제로 중요한 다단계 금융 워크플로를 위한 두 가지 주요 선택지입니다.

Coined Framework

실무에서의 컴플라이언스 추론 격차 (The Compliance Inference Gap)