원래 twarx.com에서 게시되었습니다 - 전체 인터랙티브 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 7월 24일

중견 기업의 파트너가 존재하지 않는 판례를 인용한 AI 생성 브리프를 읽는 것을 처음 목격했을 때, 그 방에 있던 누구도 그것을 기술적 실패라고 부르지 않았습니다. 그들은 그것을 전문직 배상 책임(professional-indemnity) 문제라고 불렀으며, 그들의 말이 맞았습니다. 그 순간은 전체 논쟁을 축소해 놓은 것과 같습니다. 맞춤화(customisation) 없이 법률 사무소나 회계 법인 내부에 기성 프런티어 LLM (frontier LLM)을 배치하는 것은 기술적 결정이 아니라, 기술적 결정으로 위장된 책임(liability) 결정입니다. 커스텀 SLM vs LLM 전문 서비스의 선택은 Boomi 데이터(기업의 34%만이 자신의 AI 에이전트를 신뢰한다는 결과)가 단순한 환각(hallucination) 문제가 아니라 모델 적합성 격차(Model-Fit Gap) 문제임을 드러내는 바로 그 지점이며, 커스텀 소형 언어 모델 (SLM, small language models)이 구조적인 해결책입니다.

이것은 기성 프런티어 LLM (OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet)과 자체 인프라에 배포된 미세 조정된 (fine-tuned) SLM (Microsoft Phi-3-mini, Mistral 7B, Llama 3.1 8B) 사이의 선택입니다. 규제 대상 기업들이 기성 API로는 단순히 해결할 수 없는 컴플라이언스(compliance) 장벽과 추론 비용(inference bills)에 부딪히고 있기 때문에 지금 이 선택이 중요합니다.

솔직하게 말씀드리겠습니다. 제가 2023년에 이러한 배포 사례들을 검토하기 시작했을 때, 저는 답이 거의 항상 '그냥 GPT-4를 사용하고 가드레일(guardrails)을 추가하라'일 것이라고 가정했습니다. 하지만 실패 데이터가 제 생각을 바꾸어 놓았습니다. 이 글을 다 읽을 때쯤이면, 여러분은 이사회에서 자신의 권고안을 방어할 수 있는 점수 산정 매트릭스(scoring matrix), 5단계 배포 프레임워크, 그리고 실제 비용 수치를 갖게 될 것입니다.

결정의 핵심이 되는 두 가지 아키텍처: API를 통해 접근하는 프런티어 LLM (Frontier LLM) 대 기업 내부에 호스팅되는 미세 조정된 SLM (Fine-tuned SLM) — 이 선택이 모델 적합성 격차 (Model-Fit Gap)를 정의합니다.

왜 전문 서비스 기업들은 기성 LLM (Off-the-Shelf LLMs)에 대한 신뢰를 잃고 있는가?

올해 기업용 AI 분야에서 가장 많이 인용되는 수치는 동시에 가장 오해받고 있는 수치이기도 합니다. Boomi의 2025년 연구에 따르면 기업의 86%가 AI 에이전트 (AI agents)를 배포했지만, 실제로 이들을 신뢰하는 기업은 34%에 불과했습니다. 이 격차는 시간이 흐른다고 저절로 해결되는 성숙도 곡선이 아니며, 그 이유를 잠시 진지하게 살펴볼 가치가 있습니다. 만약 신뢰가 단순히 노출 빈도의 함수라면, 가장 많은 배포 시간을 보낸 기업들이 가장 높은 확신을 가져야 합니다. 하지만 실제로는 그들이 가장 불안해하는 경우가 빈번합니다. 이는 바로 그들이 범용 모델 (General-purpose model)이 규제적 비중이 가장 큰 작업에서 조용히 표류하는 지점을 파악할 수 있을 만큼 충분한 운영 결과물을 목격했기 때문입니다. McKinsey의 State of AI와 Gartner의 독립적인 연구 또한 동일한 패턴을 뒷받침합니다: 도입 속도가 신뢰의 속도를 앞지르고 있습니다.

기업용 AI 업계의 누구도 설명하고 싶어 하지 않는 Boomi의 신뢰 통계

대부분의 벤더들은 34%라는 수치를 환각 (Hallucination) 문제로 설명합니다. 어떤 이들은 이를 프롬프트 엔지니어링 (Prompt-engineering) 문제로 규정합니다. 소수는 '기술이 아직 초기 단계'라는 논리로 회피합니다. 이 세 가지 설명은 모두 편리한데, 왜냐하면 각각의 설명이 해결책 또한 기존 제품의 연장선상에 있음을 암시하기 때문입니다. 불편한 진실은 Boomi의 응답자들이 그 원인을 직접적으로 지목했다는 점입니다: 바로 통합 (Integration)과 모델 적합성 (Model fit)입니다. 전문화된 환경에 투입된 범용 모델은 그럴듯해 보이지만 방어할 수 없는 (Not defensible) 결과물을 생성합니다. 그리고 전문 서비스 분야에서 '방어할 수 없다'는 말은 '보험에 들 수 없다'는 말과 동의어입니다.

2027년 말까지, 월간 쿼리 수가 50,000건을 초과하는 모든 전문 서비스 워크로드(workload)에 대해, 자체 호스팅된 미세 조정(fine-tuned) SLM은 프런티어(frontier) API보다 태스크당 비용이 더 저렴해질 것입니다. 만약 기업들이 여전히 그 정도의 물량을 GPT-4o를 통해 처리하고 있다면, 그들은 재무 위원회에 연간 수억 원(six-figure)에 달하는 초과 지출에 대해 해명해야 할 것입니다.

86%
의 기업들이 AI 에이전트(AI agents)를 배포했습니다
[Boomi Enterprise AI Study, 2025](https://boomi.com/)
...

GPT-4와 Claude가 청구 가능 시간(Billable-Hour) 환경을 위해 구축되지 않은 이유

프런티어 LLM은 광범위함(breadth)에 최적화되어 있습니다. 동일한 가중치(weights)가 로마 역사에 관한 질문에 답하고, Python 코드를 디버깅하며, 자기소개서를 작성합니다. 전문 서비스(Professional services)는 이와 정반대의 특성, 즉 좁은 영역에서의 극단적인 깊이(depth)를 필요로 합니다. 소송 팀에게 필요한 것은 소네트를 쓸 수 있는 모델이 아닙니다. 그들에게 필요한 것은 매번 별도의 지시 없이도 Bluebook 또는 OSCOLA 스타일로 판례 인용(case citations) 형식을 오차 없이 완벽하게 맞춰주는 모델입니다.

이 지점에서 복리적인 비용(compounding cost)이 발생합니다. 고객에게 전달되는 결과물이 존재하지 않는 판례를 환각(hallucinate)하여 생성할 때 — 널리 보도된 Mata v. Avianca 제재 사례처럼 — 그 비용은 단순히 잘못된 답변을 내놓는 수준이 아닙니다. 그것은 평판 및 규제 관련 사건(reputational and regulatory event)이 됩니다. Infosys의 금융 서비스 SLM 작업은 대안을 보여주었습니다. 도메인 튜닝된(domain-tuned) 더 작은 모델이 규제 문서 분류(regulatory document classification) 작업에서 GPT-4급 모델보다 정확도는 23% 더 높으면서, 처리량(throughput)은 약 4배 더 빠르게 수행했습니다.

영국 규제 대상 자문사에서 두 차례의 AI 도입 검토를 감독한 금융 서비스 컴플라이언스 담당자(compliance officer)인 Priya Nair는 우리가 이 문제를 논의했을 때 인수(underwriting)의 현실을 직설적으로 표현했습니다: '우리 리스크 위원회는 모델이 얼마나 똑똑한지를 묻지 않습니다. 감사(audit) 상황에서 동일한 출력을 재현할 수 있는지, 그리고 데이터가 어디로 갔는지 증명할 수 있는지를 묻습니다. 호스팅형 범용 API(hosted general-purpose API)는 정확도를 논하기도 전에 이 두 가지 질문 모두에서 실패합니다.' 이러한 프레임워크 — 즉, 원시적인 능력(raw capability)보다 재현성(reproducibility)과 데이터 출처(data provenance)를 우선시하는 관점 — 이가 규제 대상 기업들이 실제로 구매하는 렌즈입니다.

기성 LLM(Off-the-shelf LLMs)은 광범위함(breadth)에 최적화되어 있습니다. 전문 서비스 기업(Professional services firms)에는 정확히 그 반대인 것, 즉 좁은 영역에서의 깊이(depth)를 매번 동일하게 전달하는 것이 필요합니다. 그 불일치가 신뢰 격차(trust gap)의 전부입니다.

데모에서 GPT-4o를 마법처럼 느껴지게 만드는 확률적 출력(probabilistic output)은 바로 컴플라이언스 감사(compliance audit)를 통과하지 못하게 만드는 속성 그 자체입니다. 출력 분산(Output variance)은 OpenAI에게는 **특징(feature)**이지만, 귀사의 리스크 위원회에게는 **버그(bug)**입니다.

모델 적합성 격차(Model-Fit Gap) 정의: 2026년 모든 AI 리더에게 필요한 프레임워크

제가 검토한 모든 실패한 전문 서비스 AI 도입 사례는 한 가지 공통점을 공유합니다: 아무도 구매한 모델과 수행해야 할 작업 사이의 거리를 측정하지 않았다는 점입니다. 그 거리에는 이름이 있습니다.

조어된 프레임워크(Coined Framework)

모델 적합성 격차(The Model-Fit Gap) — 기성 LLM이 학습된 목적과 전문 서비스 기업이 실제로 필요로 하는 목적 사이의 측정 가능한 거리로, 기업이 커스텀 모델 평가를 지연할 때마다 매달 확대되는 복합적인 신뢰 침식(trust erosion), 컴플라이언스 노출(compliance exposure), 그리고 숨겨진 추론 비용(hidden inference cost)으로 표현됨

이것은 막연한 느낌이나 성숙도 단계가 아닙니다. 이사회 앞에 내놓을 수 있는 점수화 가능한 4축 지표(four-axis metric)입니다. 모델 적합성 격차는 AI 파일럿 프로젝트가 정체되는 체계적인 이유를 명명합니다: 기업들이 전문적인 업무를 위해 범용 도구를 구매하고도 그 부족분을 수치화하지 않았다는 것입니다.

귀사의 모델 적합성 격차 점수를 측정하는 방법

특정 유스케이스(use case)에 대해 네 가지 차원을 0(완벽한 적합)에서 10(심각한 불일치) 사이로 점수를 매기십시오. 총점이 20점을 초과하면 기성 LLM (off-the-shelf LLM)이 능동적으로 부채를 축적하고 있음을 의미하며, 커스텀 SLM (custom SLM) 평가가 시급하다는 신호입니다. 8점 미만이라면 프런티어 모델 (frontier model)의 유연성이 승리할 가능성이 높습니다. 이 매트릭스는 비기술적 파트너도 읽을 수 있도록 의도적으로 설계되었습니다. 점수를 매기는 네 가지 차원은 정확도 (Accuracy) (도메인 벤치마크 부족분), 컴플라이언스 (Compliance) (데이터 거주성 및 감사 가능성 노출), 비용 (Cost) (예상 물량에서의 추론 비용), 그리고 지연 시간 (Latency) (워크플로우를 저해하는 응답 시간)입니다. 각 항목은 독립적으로 점수가 매겨진 후, '직접 구축할 것인가 아니면 구매할 것인가(build-or-buy)'에 대한 권장 사항으로 직접 연결되는 0~40 사이의 단일 수치로 합산됩니다.

모델 적합성의 네 가지 차원: 정확도, 컴플라이언스, 비용, 그리고 지연 시간

정확도 (Accuracy). 좁고 잘 정의된 작업 세트에서, 미세 조정된 (fine-tuned) SLM은 통상적으로 프런티어 모델보다 18~34% 더 나은 성능을 보입니다. Microsoft의 Phi-3 제품군에 대한 내부 벤치마크 결과에 따르면, 소형 모델이 특정 추론 및 도메인 작업에서 자신보다 10배 더 큰 모델과 대등하거나 이를 능가하는 것으로 나타났습니다. 계약 조항 추출, 비용 분류, 규제 태깅과 같이 적용 범위가 좁을 때는 깊이가 항상 넓이보다 우세합니다.

컴플라이언스 (Compliance). 많은 기업에 있어 이 차원은 이분법적입니다. 특권 고객 데이터를 다루는 EU 또는 UK의 자문 회사는 데이터 거주성(data-residency) 노출을 유발하지 않고 해당 데이터를 미국 기반 API로 전송할 수 없습니다. 온프레미스 (On-premise) SLM 배포는 데이터 전송 자체를 제거합니다. 즉, 데이터가 기업의 경계를 절대 벗어나지 않습니다. EU AI Act의 투명성 요구 사항(제13조, 2026년 8월 발효)을 준수해야 하는 기업에 있어, 감사 가능한 온프레미스 모델은 있으면 좋은 기능(nice-to-have)이 아닙니다. 그것은 구조적 요구 사항입니다.

비용 (Cost). GPT-4o의 비용은 입력/출력 혼합 비율에 따라 100만 토큰(1M tokens)당 대략 510달러입니다. 미세 조정(Fine-tuned)된 Phi-3-mini 또는 Mistral 7B를 자체 호스팅(self-hosted)할 경우, 인스턴스 비용이 상각(amortised)되면 대규모 운영 시 100만 토큰당 대략 0.100.40달러 수준으로 운영됩니다. 쿼리(query)량이 많을 때 이 차이는 단순한 반올림 오차가 아닙니다. 이는 80% 이상의 항목별 비용 절감을 의미합니다.

지연 시간 (Latency). 온프레미스(on-premise) 또는 온디바이스(on-device)에서 실행되는 SLM은 200ms 미만으로 응답을 반환합니다. 프로덕션 부하(production load) 하에서의 프런티어(Frontier) API 호출은 빈번하게 800ms~2s 사이에 머뭅니다. 실시간으로 초안을 작성하는 변호사나 실시간으로 정산하는 회계사와 같은 대화형 워크플로(interactive workflows)에서, 이 격차는 보조 도구와 장애물 사이의 경계가 됩니다.

4개 축을 통해 측정된 모델 적합성 격차(Model-Fit Gap)입니다. 총점이 20점을 초과하면 기성 LLM이 가치를 제공하는 속도보다 부채(liability)를 축적하는 속도가 더 빠르다는 신호입니다.

전문 서비스를 위한 커스텀 SLM vs LLM: 역량 상세 비교

커스텀 SLM 대 LLM 전문 서비스 논쟁에서 무엇이 더 나은지에 대한 정직한 답변은 다음과 같습니다: 서로 다른 작업에는 둘 다 필요합니다. 프런티어 LLM이 쓸모없다고 가정하는 것은 SLM이 장난감이라고 가정하는 것만큼이나 잘못된 생각입니다. 기술의 핵심은 어떤 구조적 강점이 어떤 작업에 매핑되는지 파악하고, 무언가를 출시하기 전에 그 매핑을 확정하는 것입니다.

기성 LLM (GPT-4o, Claude 3.5, Gemini 1.5)이 실제로 잘하는 것

프런티어 모델 (Frontier models)은 개방형 추론 (open-ended reasoning), 새로운 작업에 대한 일반화 (novel task generalisation), 멀티모달 입력 (multimodal inputs), 그리고 빠른 프로토타이핑 (rapid prototyping) 측면에서 압도적인 승리를 거둡니다. 만약 새로운 AI 유스케이스 (use case)를 탐색 중이며 아직 그 형태를 확정하지 못했다면, API를 통한 프런티어 모델 사용이 학습을 위한 가장 빠른 경로입니다. 이것이 진정한 가치입니다. 초기 단계의 탐색은 누군가 파인튜닝 (fine-tuning)을 결정하기 전에 거의 항상 프런티어 모델에서 시작되어야 합니다. 실수는 작업이 안정화된 이후에도 그 상태에 머물러 있는 것입니다.

전문 서비스 분야에서 커스텀 SLM이 구조적으로 프런티어 모델보다 뛰어난 지점

커스텀 SLM (Small Language Models)은 결정론적 출력 형식 지정 (deterministic output formatting), 독점 용어 준수 (proprietary terminology adherence), 대규모 환경에서의 1초 미만 지연 시간 (sub-second latency), 데이터 주권 (data sovereignty), 그리고 12개월 이후의 총 소유 비용 (total cost of ownership) 측면에서 승리합니다. 2026년 파인튜닝을 위한 프로덕션 준비 완료된 베이스 모델 (base models)은 잘 확립되어 있습니다: Microsoft Phi-3-mini (3.8B), Mistral 7B Instruct v0.3, 그리고 Meta Llama 3.1 8B — 이들은 모두 활발한 기업 도입과 실제로 이를 유지 관리하는 커뮤니티를 보유하고 있습니다.