원래 twarx.com에서 게시되었습니다 - 전체 인터랙티브 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 7월 23일

대부분의 AI 기술 배포는 완전히 잘못된 문제를 해결하고 있습니다. 기업의 단 34%만이 AI 에이전트가 자율적으로 행동하는 것을 신뢰한다는 사실을 무시한 채, 어떤 모델이 가장 똑똑한지에만 집착하고 있습니다. 이러한 신뢰의 격차는 모델의 IQ와는 아무런 관련이 없으며, 조정(coordination), 제어(control), 그리고 도메인 적합성(domain fit)과 밀접한 관련이 있습니다. 기업용 AI 기술에 대한 냉혹한 진실은, 원시적인 능력(raw capability)은 이미 수년 전에 해결되었으며, 아직 해결되지 않은 과제는 시스템 간의 연결(wiring)이라는 점입니다.

이것이 지금 중요한 이유는 Goldman Sachs가 원시 GPT-4급 LLM이 아닌, 도메인 튜닝된 모델을 기반으로 생산용 AI 뱅킹 에이전트를 발전시키고 있으며, 이를 수행하기 위한 도구들(LangGraph, AutoGen, n8n, MCP)이 마침내 안정화되었기 때문입니다. 이제 질문은 AI를 배포할 수 있느냐가 아니라, 무엇을 배포하느냐입니다: 맞춤형 소형 언어 모델(SLM)인가, 아니면 기성품 LLM인가.

이 글을 끝까지 읽으시면 무엇을 선택해야 하는지, 비용은 얼마나 드는지, 그리고 어떤 것을 선택하더라도 생산 환경에서 신뢰할 수 있게 만드는 핸드오프(handoffs)를 어떻게 설계해야 하는지 정확히 알게 될 것입니다. 먼저 더 광범위한 입문서를 원하신다면, 저희의 기업용 AI 에이전트 가이드를 참조하십시오.

두 가지 배포 경로 — 미세 조정된(fine-tuned) 맞춤형 SLM 대 기성품 LLM API — 는 모델의 품질보다는 조정 표면적(coordination surface area)에서 훨씬 더 큰 차이를 보이며, 바로 이 지점에 AI 조정 격차(AI Coordination Gap)가 존재합니다.

개요: SLM vs LLM 질문이 실제로는 조정에 관한 질문인 이유

운영 리더들이 고통스러운 경험을 통해 깨닫게 되는 직관에 반하는 진실이 있습니다. 병목 현상은 거의 항상 모델에서 발생합니다. OpenAI나 Anthropic에서 제공하는 최신 기성 LLM (Large Language Model)은 이미 여러분이 맡길 작업의 95%보다 더 똑똑합니다. 자체 하드웨어에서 실행되는 잘 튜닝된 3B 파라미터 SLM (Small Language Model)만으로도 티켓 분류, 답변 초안 작성, 구조화된 데이터 추출 및 작업 라우팅을 수행하기에 충분합니다. 그렇다면 원천적인 역량(raw capability) 문제가 해결되었는데, 왜 수많은 기업용 AI 기술 프로젝트들은 정체되는 것일까요?

그 이유는 각 단계의 신뢰도가 97%인 6단계 파이프라인(pipeline)의 경우, 엔드 투 엔드(end-to-end) 신뢰도는 단 83%에 불과하기 때문입니다. 대부분의 기업은 제품을 이미 출시한 후에야 이 사실을 깨닫습니다. 실패의 원인은 모델에 있는 것이 아니라, 모델과 도구, 검색 레이어(retrieval layers), 그리고 인간의 승인 게이트(human approval gates) 사이의 이음새에 있습니다. 이것이 바로 제가 **AI 조정 격차(AI Coordination Gap)**라고 부르는 것이며, Boomi의 연구에서 기업용 에이전트(agent)에 대한 신뢰도가 34%에 머물러 있는 실제 이유입니다.

정립된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차란 단일 AI 모델 내부가 아니라, 모델, 도구, 데이터 소스, 그리고 인간 사이의 인계(handoffs) 과정에서 발생하는 신뢰도, 신뢰, 그리고 비용의 복합적인 손실을 의미합니다. 이는 기업용 AI 배포가 개별 구성 요소의 벤치마크 성능에 미치지 못하는 체계적인 이유입니다.

따라서 맞춤형 SLM과 기성 LLM 사이의 선택은 일차적으로 역량에 관한 결정이 아닙니다. 그것은 _여러분의 조정 표면(coordination surface)을 어디에 둘 것인가_에 대한 결정입니다. 기성 LLM은 즉각적인 역량을 제공하지만, 조정의 부담을 프롬프트 엔지니어링 (prompt engineering), 가드레일 (guardrails), 속도 제한 (rate limits), 그리고 데이터 거버넌스 (data-governance) 우회 작업으로 떠넘깁니다. 반면 맞춤형 SLM은 제어권, 예측 가능성, 그리고 더 낮은 한계 비용 (marginal cost)을 제공하지만, 조정의 부담을 MLOps, 평가 파이프라인 (evaluation pipelines), 그리고 파인튜닝 (fine-tuning) 규율로 이동시킵니다.

B2B SaaS 기업과 에이전시에게 있어, 그 이해관계는 매우 구체적입니다. 신뢰도가 97%가 아닌 83%에 그치는 지원 자동화 (support-automation) 배포는 상담원 업무 시간의 60%를 절감하는 것이 아니라, 절감된 비용을 갉아먹는 새로운 에스컬레이션 대기열 (escalation queue)을 만들어냅니다. 50개 조항 중 단 하나라도 환각 (hallucination)을 일으키는 계약 추출 에이전트는 효율성을 구축하는 속도보다 더 빠르게 고객의 신뢰를 무너뜨립니다. 승자는 가장 큰 모델을 가진 팀이 아닙니다. 조정 격차 (coordination gap)를 해소한 팀이 승자입니다. 신뢰도 측정에 대한 더 깊은 맥락은 당사의 AI 에이전트 평가 가이드를 참조하십시오.

기업용 AI 기술로 승리하고 있는 기업들은 가장 똑똑한 모델을 가진 기업들이 아닙니다. 그들은 시스템 간의 핸드오프 (handoffs)를 사후 고려 사항이 아닌, 일급 엔지니어링 (first-class engineering)으로 취급한 기업들입니다.

이 가이드에서 저는 AI 조정 격차 (AI Coordination Gap)를 평가하고 해소하기 위한 5계층 프레임워크를 소개하고, SLM 대 LLM 아키텍처 하에서 각 계층이 어떻게 다르게 작동하는지 보여드릴 것입니다. 또한 Goldman Sachs, Klarna, 그리고 미드마켓 에이전시의 실제 배포 사례를 살펴보고, LangGraph, n8n, 그리고 MCP와 같은 프로덕션 준비 완료된 도구들을 사용한 구현 경로를 제시할 것입니다. 이제 시작해 보겠습니다.

34%
기업의 AI 에이전트가 자율적으로 행동하는 것을 신뢰함
[Boomi Enterprise AI Study, 2025](https://boomi.com/)
...

커스텀 SLM이란 무엇이며, 언제 기성품 LLM을 이기는가?

**소형 언어 모델 (SLM)**은 일반적으로 1B~15B 파라미터 범위의 언어 모델을 의미합니다. Microsoft Phi-3, Google Gemma 2, Mistral 7B, 또는 Llama 3.1 8B를 생각하면 됩니다. 이는 여러분의 도메인 데이터로 파인튜닝 (fine-tuning)하여 여러분이 제어하는 인프라에서 실행합니다. **기성품 LLM (off-the-shelf LLM)**은 API를 통해 접근하는 프런티어 모델 (OpenAI GPT-4급, Anthropic Claude, Google Gemini)을 의미하며, 프롬프트 (prompts)에 대한 소유권은 있지만 가중치 (weights)에 대한 소유권은 없습니다.

업계의 담론은 사용자를 이용 가능한 가장 거대한 프런티어 모델 (frontier model)로 몰아붙입니다. 하지만 이는 B2B 및 에이전시 업무에 있어 종종 잘못된 결정이 됩니다. Tesla의 전 AI 디렉터이자 OpenAI의 창립 멤버인 Andrej Karpathy는 _대부분의 프로덕션 작업 (production tasks)은 충분히 좁은 범위 내에 있으므로, 작고 특화된 모델이 비용, 지연 시간 (latency), 그리고 일관성 측면에서 거대한 범용 모델보다 더 나은 성능을 보인다_고 반복해서 주장해 왔습니다. Hugging Face의 CEO인 Clem Delangue는 더 날카로운 지점을 짚어냅니다. 대다수의 기업용 유스케이스 (use cases)에 있어, 프라이빗하게 배포된 미세 조정된 (fine-tuned) 오픈 모델은 프런티어 API보다 비용이 저렴하면서도 통제 가능성이 더 높다는 것입니다. NVIDIA Research의 연구 또한 이를 뒷받침하며, SLM이 에이전틱 AI (agentic AI)의 미래라고 주장합니다.

고객 지원 티켓을 분류하도록 미세 조정된 Llama 3.1 8B 모델은 단일 A10 GPU에서 1,000개 요청당 0.02달러 미만으로 실행될 수 있습니다. 이는 동일한 물량을 프런티어 LLM API로 라우팅하는 것보다 약 20배 저렴하며, 200ms 미만의 지연 시간과 데이터가 귀하의 VPC를 전혀 벗어나지 않는 보안성을 제공합니다.

의사결정은 네 가지 변수에 달려 있습니다: 작업의 협소함 (task narrowness), 데이터 민감도 (data sensitivity), 볼륨 (volume), 그리고 **지연 시간 요구사항 (latency requirements)**입니다. 협소하고, 볼륨이 크며, 민감하고, 지연 시간에 민감한 작업은 맞춤형 SLM에 유리합니다. 광범위하고, 볼륨이 작으며, 민감하지 않고, 지연 시간에 관대한 작업은 기성품 LLM에 유리합니다. 대부분의 실제 비즈니스는 이 두 가지를 모두 가지고 있으며, 그렇기 때문에 성숙한 해답은 어느 한쪽을 종교적으로 고수하는 것이 아니라 거의 항상 오케스트레이션된 하이브리드 (hybrid) 아키텍처를 채택하는 것입니다. 실습 가이드를 원하시면 저희의 소형 언어 모델 미세 조정 튜토리얼을 참조하십시오.

일관성 / 예측 가능성 | 매우 높음 (고정된 가중치) | 가변적 (모델 업데이트로 인한 동작 변화)

최적 용도 | 분류 (Classification), 추출 (Extraction), 라우팅 (Routing), 대량 작업 | 추론 (Reasoning), 초안 작성 (Drafting), 개방형 에이전트 작업 (Open-ended agentic work)

4가지 변수 의사결정 매트릭스. 맞춤형 SLM은 왼쪽 하단 사분면(좁은 범위, 대량 작업, 민감한 데이터)에서 승리하며, 기성 LLM은 오른쪽 상단(넓은 범위, 소량 작업, 탐색적 작업)에서 승리합니다.

AI 조정 격차(AI Coordination Gap)의 5가지 계층

SLM, LLM 또는 하이브리드 모델 중 무엇을 선택하든, 조정 격차(coordination gap)는 다섯 가지 뚜렷한 계층에 걸쳐 나타납니다. 저는 이 중 적어도 한 가지 계층에서 실패하지 않고 중단된 기업용 배포 사례를 본 적이 없습니다. 어떤 계층이 고장 났는지 진단하면 프로젝트 전체를 진단할 수 있습니다.

고안된 프레임워크

AI 조정 격차 — 5가지 계층

이 격차는 모델(Model), 검색(Retrieval), 도구(Tool), 오케스트레이션(Orchestration), 신뢰(Trust)의 다섯 가지 계층으로 분해됩니다. 신뢰성은 각 계층 내부가 아니라 계층 사이의 경계에서 상실됩니다. 이것이 바로 격차를 해소하는 것이 모델 선택의 문제가 아니라 아키텍처(Architecture)의 문제인 이유입니다.

계층 1: 모델 계층 (The Model Layer)

이곳이 실제로 SLM 대 LLM 논쟁이 벌어지는 지점이며, 잘 구축된 시스템에서 조정 손실이 발생하는 가장 작은 원인입니다. 모델 계층의 역할은 명확합니다. 깨끗하고 범위가 잘 정해진 입력이 주어졌을 때, 범위가 잘 정해진 출력을 생성하는 것입니다. 튜닝된 SLM은 입력 분포가 안정적일 때(고객 지원 티켓, 송장, 제품 설명 등) 탁월한 성능을 발휘합니다. 기성 LLM은 입력이 예측 불가능하고 추론 비중이 높을 때 탁월합니다. 흔히 하는 실수는 이 계층을 시스템 전체로 취급하는 것입니다. 이는 다섯 가지 구성 요소 중 하나일 뿐입니다.

계층 2: 검색 계층 (The Retrieval Layer)

거의 모든 기업용 배포는 비공개 데이터에 대한 근거(grounding)를 필요로 하며, 바로 이 지점에서 RAG (Retrieval-Augmented Generation, 검색 증강 생성)이 작동합니다. 검색 계층(retrieval layer)은 Pinecone과 같은 벡터 데이터베이스 (vector database)로부터 모델에 관련 컨텍스트를 제공합니다. 여기서 발생하는 조정 실패(coordination failure)는 미묘합니다. 85%의 관련성을 가진 청크(chunk)를 반환하는 검색 결과가 97%의 정확도를 가진 모델에 입력되면, 복합적인 출력 결과는 저하됩니다. 부실한 청킹(chunking), 오래된 임베딩(embeddings), 그리고 누락된 메타데이터 필터는 그 어떤 모델의 약점보다 더 많은 'AI 실패'를 야기합니다. 저는 팀들이 항상 검색 문제였던 것을 해결하려고 모델을 세 번이나 교체하는 것을 보았습니다.

정체된 RAG 배포 사례를 감사해 보면, 약 60%의 '환각 (hallucinations)'은 모델이 아니라 잘못된 컨텍스트를 노출하는 검색 계층에서 기인합니다. LLM을 탓하기 전에 청킹과 재순위화 (re-ranking)를 먼저 수정하십시오.

계층 3: 도구 계층 (The Tool Layer)

말만 하는 에이전트는 장난감에 불과합니다. 프로덕션 에이전트는 CRM, 데이터베이스, 티켓팅 시스템, 결제 API와 같은 도구(tools)를 호출합니다. 이 지점에서 모델을 도구 및 데이터와 연결하기 위한 Anthropic의 개방형 표준인 **MCP (Model Context Protocol)**가 조정의 중추(backbone)가 되었습니다. MCP 이전에는 모든 도구 통합이 맞춤형의 취약한 어댑터(adapter) 형태였습니다. 도구 계층은 스키마(schema)가 어긋나거나, 도구의 타임아웃이 발생하거나, 모델이 잘못된 인자(arguments)로 도구를 호출할 때 실패합니다. 구조화된 도구 호출(structured tool-calling)과 엄격한 스키마 검증(schema validation)은 여기서 타협할 수 없는 필수 사항입니다. 이곳은 관대하게 처리할 곳이 아닙니다. 패턴에 대해서는 당사의 MCP 구현 가이드를, 공식 Model Context Protocol 명세 (specification)를 참조하십시오.

계층 4: 오케스트레이션 계층 (The Orchestration Layer)

이 계층은 대부분의 팀이 건너뛰는 단계이며, 조정 격차(coordination gap)가 해소되느냐 혹은 걷잡을 수 없이 벌어지느냐가 결정되는 지점입니다. 오케스트레이션 계층 (The Orchestration Layer)은 어떤 모델이 어떤 단계를 처리할지, 언제 검색(retrieve)할지, 언제 도구(tool)를 호출할지, 언제 루프(loop)를 돌릴지, 그리고 언제 에스컬레이션(escalate)할지를 결정합니다. LangGraph는 이를 상태 기반 그래프(stateful graph)로 모델링하며, AutoGen과 CrewAI는 이를 대화하는 에이전트(conversing agents)로 모델링합니다. 명시적인 오케스트레이션 계층이 없다면, 당신의 '시스템'은 그저 기도문(chain of prayers)의 연속일 뿐입니다.

계층 5: 신뢰 계층 (The Trust Layer)