Originally published at twarx.com - 해당 사이트에서 전체 인터랙티브 버전을 읽어보세요.

최종 업데이트: 2026년 8월 3일

헬스케어 및 금융 분야의 대부분의 AI 기술 워크플로우는 완전히 잘못된 문제를 해결하고 있습니다. 그들은 어떤 모델이 가장 똑똑한지에 집착하지만, 실제 실패 지점은 모델, 도구, 그리고 인간이 서로에게 업무를 인계(handoff)하는 방식에 있습니다. 규제 환경의 스택(stack)에서 가장 뛰어난 AI 기술은 가장 똑똑한 모델이 아니라, 인계 과정이 감사(audit)를 결코 통과하지 못하는 일이 없는 모델입니다.

헬스케어 분야의 AI 음성 에이전트 시장은 2030년까지 연평균 성장률(CAGR) 34.8%를 기록할 것으로 예상되며(Grand View Research, 2024), 엔터프라이즈 AI 에이전트는 파일럿 단계에서 실제 생산 재무제표 단계로 이동하고 있습니다. 이제 모든 운영 리더는 동일한 결정에 직면해 있습니다: 맞춤형 소형 언어 모델(SLM, Small Language Model)을 배포할 것인가, 아니면 RAG 및 오케스트레이션(orchestration) 뒤에 GPT-4o 또는 Claude 3.7과 같은 기성 LLM(Large Language Model)을 연결할 것인가?

이 가이드는 워크로드별로 어떤 것을 배포해야 하는지, 각각의 실제 비용은 얼마인지, 그리고 어느 쪽이 ROI(투자 대비 수익)를 제공할지 아니면 컴플라이언스(compliance) 검토에서 사라질 데모에 그칠지를 결정하는 프레임워크를 다룹니다.

SLM 대 LLM의 결정은 지능에 관한 것이 아닌 경우가 많습니다. 이는 지연 시간(latency), 데이터 레지던시(data residency), 그리고 시스템 간의 조정 계층(coordination layer)에 관한 문제입니다. 이것이 바로 'AI 조정 격차(The AI Coordination Gap)'가 존재하는 지점입니다. 출처

SLM 대 LLM AI 기술 논쟁이 잘못 설정된 이유

규제 산업에서 모델은 기술 스택 중 가장 저렴하고 리스크가 적은 부분입니다. 각 단계의 신뢰도가 97%인 6단계 임상 접수 파이프라인(clinical intake pipeline)의 경우, **엔드투엔드(end-to-end) 신뢰도는 단 83%**에 불과합니다. 이는 0.97의 6제곱에 해당합니다 (compounding-error analysis, arXiv 2022). 이 97%짜리 모델을 99%짜리 모델로 교체하면 엔드투엔드 신뢰도는 94%가 됩니다. 도움이 되긴 하겠지만, 근본적인 해결책에는 한참 못 미칩니다. 복합적인 실패(compounding failure)는 추론(reasoning) 과정이 아니라, 단계 간의 전달(handoffs) 과정에서 발생합니다.

저는 팀들이 모델의 정확도(accuracy)를 높이려고 분기 전체를 허비하는 동안, 정작 검색 인덱스(retrieval index)는 조용히 오래된 임상 가이드라인을 제공하고 있는 모습을 목격해 왔습니다. 문제는 모델이 아니었습니다.

이것이 바로 여기서 다루고자 하는 핵심 논지입니다. 귀사의 보험 청구 데이터(claims data), 전자 건강 기록(EHR) 노트, 또는 거래 내역(transaction narratives)에 맞춰 미세 조정(fine-tuned)된 3B~8B 파라미터 규모의 맞춤형 SLM(Small Language Model)과, GPT-4o, Claude 3.7 Sonnet, 또는 Gemini 2.5와 같은 기성 LLM(Large Language Model)은 서로 다른 목적을 가진 두 가지의 별개 도구입니다. 하지만 두 모델 모두 모델과 나머지 시스템 사이의 간극을 메우기 전까지는 비즈니스 가치를 창출할 수 없습니다. 저는 이 주장을 뒤에서 실제 배포 사례와 수치화된 결과로 증명할 것입니다. 왜냐하면 잘못된 보험 청구 결정이 환자의 보장 범위를 박탈하고, 잘못된 거래 플래그(transaction flag)가 은행에 규제 기관의 조사를 불러오는 YMYL(Your Money Your Life) 맥락에서는, 실제로 출시되어 감사(audit)를 견뎌낸 결과물로 추적할 수 없는 추상적인 아키텍처 조언은 무용지물보다 더 해롭기 때문입니다.

정립된 프레임워크

AI 조정 간극 (The AI Coordination Gap)

AI 조정 간극(AI Coordination Gap)이란 단일 모델 내부가 아니라, AI 모델, 검색 시스템(retrieval systems), 도구(tools), 그리고 인간 사이의 전달(handoffs) 과정에서 누적되는 신뢰성, 컴플라이언스(compliance), 그리고 지연 시간(latency)의 손실을 의미합니다. 이는 95%의 확률로 작동하는 데모와 감사(audit)에서 탈락하는 운영 시스템(production system) 사이의 거리입니다. 한 줄로 요약하자면, 귀사의 ROI(투자 대비 수익)는 모델이 아니라 시스템의 이음새(seams)에서 새어나가고 있습니다.

OpenAI는 범용 추론 모델 (general-purpose reasoning models)을 출시합니다. Anthropic은 강력한 지시 이행 (instruction-following) 능력과 200K 컨텍스트 윈도우 (context window)를 갖춘 Claude를 출시합니다. 한편, 의료 및 금융 분야의 CIO들은 온프레미스 (on-prem) 환경에 미세 조정된 소형 모델 (tiny fine-tuned models)을 조용히 배포하고 있습니다. 왜냐하면 서명된 BAA (Business Associate Agreement)와 철저한 데이터 레지던시 (data residency) 통제 없이는 환자의 PHI (개인 건강 정보)나 고객의 계좌 활동 내역을 퍼블릭 API 엔드포인트 (public API endpoint)로 보낼 수 없기 때문입니다. 이러한 제약 조건 하나만으로도 그 어떤 벤치마크 점수보다 더 많은 아키텍처 결정이 내려집니다. HHS HIPAA 프레임워크는 이를 타협 불가능한 사항으로 규정합니다.

83%
각 단계의 신뢰도가 97%인 6단계 파이프라인의 엔드투엔드 (end-to-end) 신뢰도 (0.97^6)
[오차 누적 수학, arXiv 2022](https://arxiv.org/abs/2210.03629)
...

제가 목격한 모든 배포 사례에서 이 패턴은 동일하게 나타납니다. SLM (Small Language Model)은 비용, 지연 시간 (latency), 데이터 제어 측면에서 승리합니다. LLM (Large Language Model)은 폭넓은 지식, 추론 (reasoning), 그리고 가치 창출 시간 (time-to-first-value) 측면에서 승리합니다. 하지만 귀사의 특정 배포 환경에서 실제 승자가 누구인지는, 귀사가 선택한 모델과 EHR (전자 건강 기록), 보험 청구 엔진 (claims engine), 핵심 뱅킹 시스템 (core banking system) 또는 CRM 사이의 '조정 격차 (Coordination Gap)'를 얼마나 잘 메우느냐에 따라 결정됩니다. 이 가이드가 실제로 다루고자 하는 내용이 바로 이것입니다.

의료 및 금융 분야에서 AI 기술로 승리하고 있는 기업들은 가장 똑똑한 모델을 가진 기업이 아닙니다. 시스템 간의 핸드오프 (handoff, 인계)를 제품 그 자체로 취급한 기업들입니다.

맞춤형 SLM vs 기성 LLM이란 무엇인가?

**소형 언어 모델 (Small Language Model, SLM)**은 대략 1B~13B 파라미터 (parameter) 범위의 모델 — Phi-3, Llama 3.1 8B, Mistral 7B, Gemma 2 등 — 을 의미하며, 귀하의 도메인 데이터로 미세 조정 (fine-tune)하여 일반적으로 온프레미스 (on-prem) 또는 VPC (Virtual Private Cloud)에 자체 호스팅합니다. 오늘날 좁은 범위의 작업, 대량 처리, 지연 시간에 민감한 작업, 그리고 규제 준수가 엄격한 작업에 즉시 투입 가능한 수준입니다. 더 이상 연구 프로젝트 단계가 아닙니다.

**기성 LLM (off-the-shelf LLM)**은 API를 통해 접근하는 프론티어 모델(frontier model)을 의미합니다 — GPT-4o, Claude 3.7 Sonnet, Gemini 2.5 Pro 등이 이에 해당하며, 프롬프트(prompt), RAG, 그리고 도구 호출(tool calls)을 통해 제어합니다. 이는 광범위한 추론, 복잡한 합성, 그리고 전문성보다 범용성이 중요한 워크로드에 즉시 투입 가능한 수준입니다.

어떤 것을 선택해야 할까요? SLM vs LLM 결정 매트릭스

이 표는 스크린샷을 찍어 다음 아키텍처 리뷰(architecture review)에 바로 활용할 수 있는 자료입니다. 규제 대상 배포(regulated deployments)를 결정짓는 8가지 차원을 기준으로 맞춤형 SLM과 기성 LLM을 비교 평가합니다.

| 차원 | 맞춤형 SLM (미세 조정됨, 자체 호스팅) | 기성 LLM (API) |
| :--- | :--- | : |
| 데이터 거주성 / PHI 제어 | 완전함 — 데이터가 VPC를 절대 벗어나지 않음 | BAA, DPA, 리전 고정(region pinning) 필요 |
| 대규모 추론 비용 | 학습 비용 상쇄 시 매우 낮음 | 토큰당 비용, 볼륨에 따라 선형적으로 증가 |
| 지연 시간 (Latency) | 온프레미스(on-prem)에서 300ms 미만 달성 가능 | 네트워크 왕복 시간 포함 400ms–2s+ |
| 컴플라이언스 상태 | 강력함 — 가중치(weights), 데이터, 리전에 대한 완전한 제어 | 벤더의 BAA/DPA 약관에 의존 |
| 미세 조정(Fine-tuning) 오버헤드 | 수 주 소요 (데이터 준비가 가장 오래 걸림) | 없음 또는 낮음 (프롬프트 + RAG만 사용) |
| 감사 추적 / 설명 가능성 | 높음 — 가중치와 로그를 직접 소유 | 벤더 모델 내부 구조에 대한 접근이 제한됨 |
| 추론의 폭 | 좁음 — 학습된 분야에서만 탁월함 | 넓음 — 즉시 사용 가능한 일반적 추론 능력 |
| 초기 비용 | $40K–$250K (데이터, 컴퓨팅, MLOps) | 시작 비용 거의 제로 |

실제 운영 배포(production deployments)에서 얻은 경험칙: 만약 작업 범위가 좁고, 월간 실행 횟수가 10만 회 이상이며, 규제 대상 데이터를 다룬다면, 미세 조정된 7B SLM이 4~7개월 이내에 총 소유 비용(TCO) 측면에서 프론티어 LLM을 앞섭니다. 이보다 실행 볼륨이 적다면, 거의 항상 LLM API가 TCO 측면에서 승리합니다.

SLM 손익분기점 곡선: 고정된 학습 비용이 토큰당 API 비용과 상쇄됩니다. 금융 및 의료 분야에서는 대량의 좁은 범위의 작업(보험 청구 분류, 거래 분류)이 가장 빠르게 이 선을 넘습니다. 출처

AI 조정 격차(AI Coordination Gap)란 무엇이며, 왜 이것이 ROI를 결정하는가?

SLM을 선택하든 LLM을 선택하든, 가치는 다섯 가지 조정 계층(layers of coordination)을 통해 누수됩니다. 대부분의 팀은 모델을 설계하는 데만 집중하고 이러한 계층을 무시합니다. 이것이 바로 기업용 AI 파일럿의 약 70%가 프로덕션 단계에 도달하지 못하는 정확한 이유이며, 이는 McKinsey의 State of AI 연구에서도 반복되는 패턴입니다. 규제 산업의 경우 저는 이 수치가 더 높을 것이라고 생각합니다. 격차의 구조는 다음과 같습니다.

명명된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

이는 각 구성 요소는 개별적으로 작동하지만, 결합된 시스템은 모든 접점(seam)에서 성능이 저하되는 시스템적 실패를 의미합니다. 규제 산업에서 각 접점은 컴플라이언스(compliance) 및 감사 경계이기도 하므로, 조정은 단순한 엔지니어링 문제가 아닌 법적 문제가 됩니다.

계층 1 — 검색 계층 (The Retrieval Layer)

모델의 성능은 모델이 받는 컨텍스트(context)만큼만 좋습니다. 의료 분야에서 이는 정확한 환자의 기록, 올바른 임상 가이드라인 버전, 그리고 현재의 처방 목록(formulary) 데이터를 검색하는 것을 의미합니다. 금융 분야에서는 올바른 계좌, 정확한 규제 프레임워크, 그리고 실시간 환율을 의미합니다. 이곳이 RAG (Retrieval-Augmented Generation)와 Pinecone과 같은 벡터 데이터베이스(vector databases)가 존재하는 영역입니다. 오래된 인덱스나 잘못된 청킹(chunking) 전략은 확신에 찬 오답을 조용히 생성합니다. 이것이 규제 대상 AI에서 가장 위험한 실패 모드입니다. 모델의 환각(hallucination)이 아니라, 차이를 구분할 방법이 없는 모델에 확신에 찬 잘못된 검색 결과(retrieval)를 제공하는 것입니다.

계층 2 — 오케스트레이션 계층 (The Orchestration Layer)

이곳은 여러 단계, 도구(tools), 그리고 에이전트(agents)가 조율되는 지점입니다. LangGraph는 이를 상태 저장 그래프(stateful graph)로 모델링하며, AutoGen과 CrewAI는 이를 대화형 에이전트(conversational agents)로 모델링합니다. 이 계층은 83%의 복리 오류(compounding-error) 문제가 재시도(retries), 검증(validation), 그리고 결정론적 가드레일(deterministic guardrails)을 통해 해결되느냐, 아니면 그대로 배포되어 6주 후 감사(audit)에서 실패하느냐가 결정되는 계층입니다. 우리는 모든 노드 경계에 스키마 검증(schema validation)을 추가하기 전, 사전 승인(prior-auth) 파이프라인에서 정확히 이 버그 때문에 2주를 허비했습니다.

계층 3 — 도구 및 데이터 인터페이스 계층 (The Tool & Data Interface Layer)

모델은 실제 시스템을 호출해야 합니다: EHR (Epic, Cerner), 핵심 뱅킹 원장(core banking ledger), 보험금 지급 심사 엔진(claims adjudication engine) 등이 이에 해당합니다. 이곳에서 Anthropic의 오픈 표준인 **MCP (Model Context Protocol)**가 수십 개의 맞춤형 통합(bespoke integrations)을 단일 프로토콜로 대체하며 연결 조직(connective tissue) 역할을 하고 있습니다. 여기서 도구 스키마(tool schema)가 깨지면 모델은 함수 호출(function call)을 환각(hallucinate)하게 되고, 전체 트랜잭션은 소리 없이 실패합니다. 저는 이 계층에서 타입이 지정되고 감사 가능한(typed, auditable) 도구 인터페이스 없이는 규제 대상 파이프라인을 배포하지 않을 것입니다.

계층 4 — 인간 개입 계층 (The Human Handoff Layer)

모든 규제 대상 워크플로우에는 인간 참여(human-in-the-loop) 체크포인트가 있습니다. 문제는 AI가 '언제' 그리고 '어떻게' 문제를 에스컬레이션(escalate)할지를 설계하는 데 있습니다. 너무 자주 에스컬레이션하면 ROI(투자 대비 수익)를 망치게 됩니다. 너무 드물게 에스컬레이션하면 법적 책임(liability)을 초래하게 됩니다. 가장 뛰어난 배포 사례들은 명시적인 신뢰 임계값(confidence thresholds) — 보통 0.85 내외 — 을 정의하여, 신뢰도가 낮은 출력값은 자동 확정(auto-committing)하는 대신 인간 대기열(human queue)로 라우팅합니다.

계층 5 — 감사 및 관측 가능성 계층 (The Audit & Observability Layer)

의료 및 금융 분야에서는 시스템이 왜 그러한 결정을 내렸는지 재구성할 수 없다면, 이를 배포할 수 없습니다. 모든 검색 (retrieval), 프롬프트 (prompt), 도구 호출 (tool call), 그리고 출력 (output)은 불변의 형태로 기록되어야 합니다. 이는 타협할 수 없는 사항입니다. NIST AI Risk Management Framework는 관측 가능성 (observability)을 핵심 통제 항목으로 규정하고 있습니다. 이는 팀들이 가장 마지막에 발견하게 되는 계층이며, 대개 프로젝트를 완전히 중단시키는 컴플라이언스 (compliance) 검토 과정에서 드러납니다. 첫날부터 이를 구축하거나, 왜 구축하지 않았는지 컴플라이언스 팀에 설명해야 할 것입니다.

AI 조정 격차 해소: 규제 대상 보험 청구 분류 파이프라인 (A Regulated Claims-Triage Pipeline)

  1

    **접수 (음성 에이전트 / SLM)**

온프레미스 (on-prem)에 구축된 미세 조정된 (fine-tuned) 7B SLM이 300ms 미만으로 청구 내용을 전사하고 구조화합니다. 입력: 오디오/텍스트. 출력: 구조화된 JSON. 개인 건강 정보 (PHI)는 절대 VPC를 벗어나지 않습니다.

↓

  2
...

정확한 보험 증권 버전, 환자 이력, 그리고 보장 규칙을 가져옵니다. 버전이 고정된 인덱스 (version-pinned index)는 오래된 가이드라인으로 인한 오류를 방지합니다.

↓

  3
...

Claude 3.7이 서명된 BAA (Business Associate Agreement) 하에서 복잡한 심사 추론 (adjudication reasoning)을 처리합니다. 비식별화된 구조화 데이터만이 전송됩니다.

↓

  4
...