Originally published at twarx.com - 전체 대화형 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 7월 31일

대부분의 AI 기술 워크플로우는 완전히 잘못된 문제를 해결하고 있습니다. Sam Altman이 2025년 5월 기조연설에서 '챗봇 시대는 끝났으며 미래는 지속적인 에이전트(persistent agents)의 것'이라고 주장했을 때, 운영 리더들은 이를 '더 큰 모델을 구매하라'는 뜻으로 받아들였습니다. 하지만 그 해석은 정확히 반대입니다. 오늘날 기업 AI 기술 (AI technology) 분야에서 가장 비용이 많이 드는 단일 결정은 어떤 모델을 임대하느냐가 아니라, 모델이 제대로 작동할지를 결정하는 조정 계층 (coordination layer)을 설계하느냐 하는 것입니다.

맞춤형 소형 언어 모델 (Small Language Models, SLMs) 대 GPT-4o, Claude 3.5 또는 Gemini 2.0과 같은 기성 LLM (off-the-shelf LLMs) 사이의 선택은 이제 기업 AI 기술 (AI technology) 분야에서 가장 이해관계가 걸린 결정입니다. 그리고 저희의 경험상, 이는 대개 잘못된 기준에 의해 결정됩니다. LangGraph, CrewAI, n8n, 그리고 새롭게 등장하는 모델 컨텍스트 프로토콜 (Model Context Protocol, MCP)과 같은 도구들은 모델 선택을 조정 (coordination)에 비해 거의 부차적인 문제로 만들었습니다.

이 가이드를 마칠 때쯤이면, 여러분은 언제 소형 모델을 미세 조정 (fine-tune)해야 하는지, 언제 프런티어 모델 (frontier model)을 임대해야 하는지, 그리고 두 모델 중 어느 것이 제 역할을 다할지를 실제로 결정하는 계층을 어떻게 설계해야 하는지를 정확히 알게 될 것입니다.

대부분의 팀이 모델을 최적화할 때, 성과가 높은 운영 팀은 모델 간의 조정 계층 (coordination layer)을 최적화합니다. 이것이 바로 저희가 'AI 조정 격차 (The AI Coordination Gap)'라고 부르는 핵심입니다.

기업용 AI 기술은 왜 실패하는가? 모델 때문이 아닙니다

모든 운영 책임자(operations leader)의 스크롤을 멈추게 할 숫자가 여기 있습니다. 각 단계의 신뢰도가 97%인 6단계 자동화 파이프라인의 경우, 전체 엔드 투 엔드(end-to-end) 신뢰도는 단 63%에 불과합니다. 0.97을 여섯 번 곱하면 0.833에 도달하며, 이는 대략 6번의 실행 중 1번꼴로 결함이 발생함을 의미합니다. 대부분의 기업은 제품을 이미 출시한 후, CFO가 예산을 승인한 후, 그리고 첫 번째 프런티어 모델(frontier-model) 청구서가 도착한 후에야 이 사실을 깨닫습니다.

현재 기업용 AI 기술 지출은 하나의 논쟁에 집중되어 있습니다. Distilled Llama 3 8B와 같이 맞춤형으로 미세 조정(fine-tuned)된 SLM을 배포해야 할까요, 아니면 GPT-4o나 Claude 3.5 Sonnet과 같은 기성 프런티어 LLM을 대여해야 할까요? 팀들은 이를 모델 품질의 문제로 규정합니다. 하지만 그렇지 않습니다. 이것은 시스템의 문제입니다. 모델은 검색(retrieval), 라우팅(routing), 도구 사용(tool use), 오류 처리(error handling)를 포함하는 파이프라인의 단 하나의 구성 요소일 뿐입니다. 여기에 거의 아무도 의도적으로 설계하지 않는 부분, 즉 이 모든 요소 간의 핸드오프(handoffs, 인계) 과정이 포함됩니다.

Zhou 등이 작성한 'A Survey on the Reliability of Agentic LLM Systems in Production' (arXiv 2025)에 따르면, 프로덕션 환경의 LLM 애플리케이션에서 나타나는 지배적인 실패 모드(failure mode)는 환각(hallucination)이 아닙니다. 그것은 각각은 독립적으로 잘 작동하는 구성 요소들 사이의 조정 결함(coordination breakdown)입니다. Meta AI와 Microsoft Research의 독립적인 연구들도 동일한 결론을 가리키고 있습니다. 이것이 바로 지속적 에이전트(persistent-agent)에 대한 과장된 홍보가 상황을 개선하기는커녕 더욱 악화시키는 정확한 사각지대입니다.

운영 책임자, 에이전시 소유자, 그리고 이커머스 운영자들에게 있어 그 이해관계는 매우 구체적입니다. 귀사의 티켓 데이터로 미세 조정(fine-tuned)된 맞춤형 SLM은 GPT-4o가 청구하는 비용의 아주 작은 일부만으로 지원 분류(support classification)를 처리할 수 있습니다. 최근 한 배포 사례에서 측정된 결과에 따르면, 호스팅된 Llama 3 8B를 사용했을 때 분류당 비용은 $0.0004였던 반면, GPT-4o는 $0.012로 30배의 격차가 발생했습니다. 하지만 동일한 SLM은 쿼리가 좁은 학습 분포(training distribution)를 벗어난 추론을 요구하는 순간 무너지고 맙니다. 프론티어 LLM(Frontier LLMs)은 롱테일(long tail) 문제를 대부분 훌륭하게 처리하지만, 소형 모델이 단돈 몇 푼으로 처리할 수 있는 일상적인 작업을 수행하면서 토큰당 20~40배 더 많은 비용을 청구합니다.

그렇기 때문에 정답은 거의 항상 '하나를 선택하는 것'이 아닙니다. 정답은 '그들 사이를 라우팅(route)하는 것'입니다. 그리고 라우팅은 그 본질적으로 조정(coordination)의 문제입니다.

명명된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차(AI Coordination Gap)는 AI 구성 요소 내부가 아니라, 구성 요소 간의 인계(handoffs) 과정에서 발생하는 신뢰성 및 비용 손실을 의미합니다. 이는 각 모델, 도구, 검색(retrieval) 단계가 개별적으로는 작동하지만, 그 사이의 이음새(seams)가 설계되지 않고 모니터링되지 않아 프로덕션 실패의 대부분을 차지하게 되는 시스템적 문제를 지칭합니다.

이 글에서는 조정 격차를 명명된 6개의 계층으로 나눕니다. 각 계층에 대해 실제 환경에서 어떻게 작동하는지, SLM과 LLM이 실제로 어디에 속해야 하는지, 그리고 실제 배포 사례는 어떤 모습인지 배우게 될 것입니다. 그런 다음 ROI(투자 대비 수익)를 조용히 파괴하는 실수들, 2028년까지의 예측 타임라인, 그리고 현재 운영자들이 실제로 수행하는 검색에 맞춰 구축된 7가지 질문의 FAQ를 다룹니다.

AI 기술로 승리하는 기업은 최고의 모델을 가진 기업이 아닙니다. 다른 모든 이들이 무시했던 인계(handoffs) 과정을 설계한 기업입니다.

AI 조정 격차란 무엇이며, 왜 이것이 귀사의 모델 전략을 결정하는가?

가장 간단히 말해, AI 조정 격차는 개별 구성 요소가 얼마나 신뢰할 수 있는지와 시스템 전체가 엔드 투 엔드(end-to-end)로 얼마나 신뢰할 수 있는지 사이의 차이입니다. 이를 모든 이음새(seam)에서 지불해야 하는 세금이라고 생각하십시오.

전형적인 이커머스(ecommerce) 운영 흐름을 생각해 보십시오. 고객이 배송 지연에 대해 이메일을 보냅니다. LLM (Large Language Model)이 의도(intent)를 분류하고, 검색(retrieval) 단계에서 데이터베이스로부터 주문 데이터를 가져오며, 두 번째 모델이 답변 초안을 작성하고, 정책 확인(policy check)이 이를 검증하며, 서비스가 상호작용을 기록합니다. 총 다섯 개의 구성 요소입니다. 각 요소의 신뢰도가 95%라면, 엔드 투 엔드(end-to-end) 신뢰도는 대략 77%가 됩니다. 네 번의 상호작용 중 거의 한 번은 체인의 어딘가에서 결함이 발생한다는 뜻이며, 이는 거의 항상 단일 모델 내부의 문제는 아닙니다. 저는 팀들이 이러한 구성을 자신 있게 출시했다가, 실제로는 핸드오프(handoff, 인계) 과정에서 발생하고 있는 실패를 두고 엉뚱한 모델을 탓하며 3주를 허비하는 것을 목격해 왔습니다.

83%
단계별 신뢰도가 97%인 6단계 파이프라인의 엔드 투 엔드(end-to-end) 신뢰도
[Zhou et al., arXiv Agentic Systems Survey, 2025](https://arxiv.org/)
...

이 모든 것이 바로 SLM (Small Language Model) 대 LLM 결정이 조정(coordination)의 하위 단계에 위치해야 하는 이유입니다. 대부분의 실패가 이음새(seams)에서 발생한다는 점을 받아들이고 나면, 모델 선택은 라우팅(routing) 결정이 됩니다. 저렴하고 물량이 많으며 범위가 좁은 작업은 맞춤형 SLM으로 보내고, 모호하고 이해관계가 높으며 롱테일(long-tail) 성격의 작업은 프런티어(frontier) LLM으로 보내십시오. 그리고 여러분의 진짜 엔지니어링 노력은 무엇이 무엇인지 결정하는 계층(layer)에 쏟아부어야 합니다.

여러분의 모델은 하나의 구성 요소입니다. 여러분의 조정 계층(coordination layer)이 바로 제품입니다. 그에 맞춰 자금을 투입하십시오.

라우팅 계층은 두 모델 유형 모두의 상위에 위치하며, 이는 하이브리드 SLM/LLM 아키텍처에서 'AI 조정 격차(The AI Coordination Gap)'를 메우는 실질적인 구현체입니다.

AI 조정 격차의 6가지 계층은 무엇인가?

격차를 메운다는 것은 여러분의 AI 시스템을 각각 고유한 실패 모드(failure modes)와 SLM 대 LLM에 대한 시사점을 가진 6개의 별도 계층으로 취급하는 것을 의미합니다. 전체 아키텍처는 다음과 같습니다.

하이브리드 SLM/LLM 운영을 위한 6계층 조정 아키텍처 (The Six-Layer Coordination Architecture for Hybrid SLM/LLM Operations)

  1

    **인그레스 및 의도 계층 (Ingress & Intent Layer) (맞춤형 SLM)**

들어오는 요청은 분류 및 의도 탐지(intent detection)를 위해 미세 조정된 (fine-tuned) SLM (예: distilled Llama 3 8B)에 도달합니다. 100ms 미만의 지연 시간(latency)과 거의 제로에 가까운 한계 비용(marginal cost)을 가집니다. 구조화된 의도 객체(structured intent object)를 출력합니다.

↓

  2
...

LangGraph 또는 CrewAI가 결정합니다: SLM이 이를 처리할 수 있는가, 아니면 프런티어 LLM (frontier LLM)으로 에스컬레이션(escalate)해야 하는가? 이곳이 조정 격차(Coordination Gap)의 승패가 결정되는 지점입니다. 신뢰도 임계값(Confidence thresholds)과 폴백 규칙(fallback rules)이 여기서 관리됩니다.

↓

  3
...

Pinecone 또는 pgvector가 근거가 되는 컨텍스트(grounded context)를 검색(retrieve)합니다. 검색 품질은 이후의 모든 과정을 제한합니다. 잘못된 컨텍스트는 최상의 모델조차 오염시킵니다. 지연 시간 예산(Latency budget): 50-200ms.

↓

  4
...

에스컬레이션된 작업은 검색된 컨텍스트와 함께 GPT-4o 또는 Claude 3.5 Sonnet에 전달됩니다. SLM이 처리할 수 없는 모호성, 다단계 추론(multi-step reasoning), 그리고 롱테일 엣지 케이스(long-tail edge cases)를 처리합니다.

↓

  5
...

모델 컨텍스트 프로토콜(Model Context Protocol)은 모델이 외부 시스템(CRM, 주문 데이터베이스, 티켓팅 시스템 등)을 호출하는 방식을 표준화합니다. 취약한 커스텀 통합(custom integrations)을 일관된 인터페이스로 대체합니다.

↓

  6
...

정책 확인(Policy checks), 출력 검증(output validation), 그리고 전체 트레이싱(full tracing, LangSmith, Langfuse)이 이루어집니다. 고객에게 도달하기 전에 조정 실패를 포착합니다. 프로덕션 환경에서는 타협할 수 없는 필수 사항입니다.

각 계층은 뚜렷한 지연 시간, 비용 및 신뢰성 특성을 가집니다. 라우팅 계층(2)은 SLM과 LLM의 경제성이 조화를 이루는 지점입니다.

계층 1: 인그레스 및 의도 — SLM이 압도적으로 승리하는 지점

의도 분류(Intent classification), 라우팅 태그(routing tags), 감성 점수 측정(sentiment scoring), 언어 탐지(language detection) — 이들은 범위가 좁고 볼륨이 큰 작업들이며, 맞춤형 SLM을 위한 이상적인 영역입니다. 단일 GPU에서 실행되는 미세 조정된 7-8B 파라미터 모델은 호출당 1센트의 아주 적은 비용으로 100ms 미만의 지연 시간 내에 분류를 수행할 수 있습니다. 여기서 GPT-4o를 사용하는 것은 반창고를 붙이기 위해 외과의를 고용하는 것과 같습니다. 기술적으로는 문제가 없으나, 경제적으로는 터무니없는 일입니다.

하지만 한 가지 주의할 점이 있습니다. SLM (Small Language Model)은 학습 데이터 분포 (training distribution)만큼만 성능을 발휘합니다. 만약 의도 분류 체계 (intent taxonomy)가 어긋나면, 모델은 사용자에게 알리지도 않은 채 조용히 성능이 저하됩니다. 이것이 바로 Layer 6 관측성 (observability)이 선택이 아닌 필수인 이유입니다. 지표가 급락한 후가 아니라, 분포 변화 (distribution shift)를 사전에 감지해야 합니다. 기업용 AI 아키텍처 (enterprise AI architecture) 가이드를 통해 좁은 범위의 모델이 더 큰 시스템에 어떻게 부합하는지 알아보세요.

Layer 2: 라우팅 (Routing) — 모든 것을 결정하는 계층

라우팅 계층은 조정 격차 (Coordination Gap)를 해소하는 물리적 실체입니다. 이 계층은 하루에도 수천 번씩 한 가지 질문에 답합니다:

어떤 모델도 — SLM이든 LLM이든 — 잘못된 컨텍스트 (Context)로부터 스스로 추론하여 벗어날 수는 없습니다. 검색 품질 (Retrieval quality)은 모든 후속 단계의 상한선을 결정하며, 이는 팀들이 만성적으로 예산을 적게 배정하는 계층입니다. Pinecone이나 pgvector와 같은 벡터 데이터베이스 (Vector database)를 사용함으로써, 이 계층은 응답을 실제 데이터에 근거하게 만듭니다. 부실한 청킹 (Chunking), 오래된 인덱스 (Stale indexes), 또는 약한 임베딩 (Embeddings)은 GPT-4o조차도 자신만만하게 환각 (Hallucination)을 일으키게 만들 것이며, 그 과정에서 모델은 완전히 확신에 찬 어조로 말할 것입니다. RAG 구현 (RAG implementation) 분석을 통해 그 메커니즘을 배워보세요.

계층 4: 추론 (Reasoning) — 기성 LLM이 프리미엄 가치를 증명하는 곳

모호함, 다단계 추론 (Multi-step reasoning), 새로운 엣지 케이스 (Edge cases), 그리고 광범위한 세상 지식을 요구하는 모든 것 — 이 영역은 프런티어 LLM (Frontier LLMs)의 영역입니다. 이는 토큰당 비용을 20~40배 지불하는 것이 정당화되는 20%의 트래픽 구간입니다. 왜냐하면 그 대안은 API 비용보다 훨씬 더 큰 비용을 초래하는, 중대한 질의에 대한 잘못된 답변이기 때문입니다. Anthropic의 'Extended Thinking Tips' 가이드는 왜 Claude 3.5 Sonnet의 확장된 추론 (Extended reasoning)이 SLM이 일반화할 수 없는 롱테일 케이스 (Long-tail cases)에 특히 가치 있는지를 설명합니다. 여기서 비용을 아끼지 마세요 — 이곳이 바로 비용을 지출해야 할 적절한 곳입니다.

계층 5: 도구 및 액션 (Tool & Action) — MCP가 경제성을 변화시키는 이유