원문은 twarx.com에서 처음 게시되었습니다 - 전체 인터랙티브 버전은 그곳에서 읽을 수 있습니다.

최종 업데이트: 2026년 7월 17일

대부분의 AI 기술 워크플로우는 완전히 잘못된 문제를 해결하고 있습니다. 실제 병목 현상은 가공되지 않은 지능(raw intelligence)이 아니라 시스템 간의 조정(coordination)에 있음에도 불구하고, 사람들은 사용 가능한 가장 큰 모델을 찾으려 합니다. 올바른 AI 기술 결정은 모델의 크기에 관한 것이 아니라, 모델을 작업에 맞추고 그 사이의 간극을 메우는 것에 관한 것입니다. 이러한 단 한 번의 관점 전환이 신뢰할 수 있는 자동화를 출시하는 팀과 필요하지도 않은 성능에 예산을 낭비하는 팀을 가릅니다.

현재 모든 운영 리더들이 직면한 결정은 다음과 같습니다: 귀하의 데이터로 미세 조정(fine-tuned)된 커스텀 소형 언어 모델(Small Language Model, SLM)을 배포할 것인가, 아니면 OpenAI나 Anthropic의 프런티어 LLM(Large Language Model)을 미세 조정할 것인가? 2025년 이후, Microsoft의 Phi-3, Google의 Gemma 2, 그리고 Meta의 Llama 3.2 (1B–8B)와 같은 SLM은 더 저렴하고, 빠르며, 프라이빗하게 호스팅할 수 있는 생산 가능한 수준이 되었습니다. 이것은 연구 주제가 아닙니다. 이것은 예산이 수반된 실제 조달 결정입니다.

이 글을 다 읽을 때쯤이면, 귀하는 무엇을 배포해야 하는지, 비용은 얼마인지, 그리고 각각의 모델이 어디에서 한계를 보이는지 정확히 알게 될 것입니다.

핵심 트레이드오프(trade-off): 커스텀 SLM은 좁은 범위의 작업(narrow tasks)을 위해 귀하의 인프라에서 저렴하게 실행되는 반면, 미세 조정된 LLM은 더 높은 비용으로 광범위한 추론(broad reasoning)을 수행합니다. 이 글에서는 왜 대부분의 배포가 어떤 모델을 선택하든 여전히 성능이 저하되는지를 설명하기 위해 'AI 조정 간극(The AI Coordination Gap)'을 소개합니다.

개요: 아무도 제대로 설명하지 않는 SLM 대 미세 조정된 LLM 결정

'SLM vs fine-tuned LLM'에 대한 검색량이 2026년 상반기에 급증했음에도 불구하고, 운영자가 예산을 승인하고, 아키텍처를 선택하며, 이를 CFO(최고재무책임자)에게 방어해야 하는 '의사결정 계층(decision layer)'에서 콘텐츠를 생산하는 사람은 거의 없습니다. 그 간극이 바로 이 AI 기술 전략이 존재하는 지점입니다.

솔직한 시작점부터 짚어보겠습니다. **소형 언어 모델 (Small Language Model, SLM)**은 Phi-3, Gemma 2, Llama 3.2 또는 Mistral 7B와 같이 완전히 미세 조정(fine-tuning)이 가능하고, 양자화(quantization)가 가능하며, 자체 호스팅(self-hosted)할 수 있는 대략 1B~13B 파라미터 범위의 모든 모델을 의미합니다. **미세 조정된 LLM (fine-tuned LLM)**은 GPT-4급, Claude급, 또는 Llama 3.1 70B와 같은 대규모 오픈 웨이트(open weight) 모델과 같은 프론티어 규모(frontier-scale)의 모델을 전체 미세 조정(full fine-tuning), LoRA 어댑터(LoRA adapters), 또는 OpenAI 및 Anthropic의 호스팅 미세 조정 API를 통해 특정 도메인에 맞게 적응시킨 모델을 말합니다.

대부분의 이사회에서 갖는 본능은 '더 클수록 더 안전하다'는 것입니다. 하지만 그러한 본능은 대다수의 기업용 작업(enterprise tasks)에서는 틀린 판단입니다. 고객 지원 티켓 분류, 송장에서 필드 추출, 리드(leads) 라우팅, 재고 태깅, 표준화된 답변 초안 작성과 같은 대부분의 비즈니스 워크플로우는 '좁은(narrow)' 범위의 작업입니다. 이러한 좁은 작업에서는 잘 튜닝된 7B SLM이 추론 비용(inference cost)은 1/20 수준, 지연 시간(latency)은 1/5 수준이면서도 미세 조정된 프론티어 모델과 대등하거나 오히려 더 나은 성능을 보이는 경우가 많습니다. 저는 팀들이 이 사실을 고통스럽게 확인하기 위해 매달 4만 달러를 허비하는 것을 목격해 왔습니다. 모델 경제학에 대한 더 깊은 맥락을 원한다면, Hugging Face의 엔지니어링 블로그에서 이러한 효율성 이득을 공개적으로 추적하고 있으며, 스탠퍼드의 AI Index는 매년 하락하는 '역량당 비용(cost-per-capability)' 곡선을 기록하고 있습니다.

AI로 승리하는 기업은 가장 큰 모델을 실행하는 기업이 아닙니다. 모델의 크기를 작업의 폭(task width)에 정확히 맞추고, 시스템 간의 조정(coordination)을 해결하는 기업입니다.

하지만 단순히 모델을 선택하는 것 자체가 프로젝트 실패의 원인은 아닙니다. 이는 이 기사 전체의 근간이 되는 개념으로 우리를 안내합니다.

명명된 프레임워크

AI 조정 간극 (The AI Coordination Gap)

AI 조정 간극 (The AI Coordination Gap)은 단일 모델 내부가 아니라, 모델, 검색 시스템 (retrieval systems), 도구 (tools), 그리고 비즈니스 로직 (business logic) 사이의 인계 (handoffs) 과정에서 발생하는 측정 가능한 성능 손실을 의미합니다. 이는 개별적으로는 신뢰할 수 있는 컴포넌트들의 스택이 왜 신뢰할 수 없는 엔드 투 엔드 (end-to-end) 시스템을 만들어내는지에 대한 이유를 명명한 것입니다.

운영자들을 밤잠 설치게 만들 수학적 사실은 다음과 같습니다. 각 단계가 97%의 신뢰도를 가진 6단계 파이프라인의 경우, 엔드 투 엔드 신뢰도는 약 83% (0.97^6)에 불과합니다. 대부분의 기업은 데모는 작동하지만 프로덕션(production)에서는 작동하지 않는 상황을 겪는, 즉 제품을 출시한 이후에야 이 사실을 깨닫게 됩니다. SLM과 미세 조정된 (fine-tuned) LLM 사이의 선택은 중요합니다. 하지만 조정 계층 (coordination layer)을 무시한다면, 당신은 제약 사항이 아니었던 단 한 가지 요소만을 최적화하게 될 것입니다.

3.3B
Microsoft Phi-3-mini의 파라미터 (Parameters) 수, 이는 많은 추론 벤치마크 (reasoning benchmarks)에서 자기보다 10배 큰 모델들과 대등한 성능을 보임
[Microsoft Research (Phi-3 Technical Report), 2024](https://arxiv.org/abs/2404.14219)
...

이어지는 섹션에서는 AI 조정 간극을 명명된 계층들로 분해하고, 각 계층에서 SLM 대 미세 조정된 LLM을 선택하는 방법을 보여주며, 실제 배포 사례를 살펴보고, 운영자들이 계속해서 던지는 7가지 질문에 답하겠습니다. 현재 자동화를 구축 중이라면, 이 글을 우리의 기업용 AI 배포 패턴 (enterprise AI deployment patterns)에 대한 심층 분석과 함께 읽어보시기 바랍니다.

프레임워크: AI 조정 간극을 6개 계층으로 분해하기

'SLM 대 미세 조정된 LLM'이 고립된 상태에서 잘못된 질문인 이유는, 모델이 작동하는 시스템의 단 하나의 컴포넌트일 뿐이기 때문입니다. AI 조정 간극은 모든 프로덕션 AI 기술 워크플로우를 6개의 계층으로 분해합니다. 각 계층에서 당신은 SLM 대 LLM에 대한 별개의 결정을 내리게 되며, 계층 간의 조정 비용 (coordination cost)이 바로 신뢰성이 누수되는 지점입니다.

AI 조정 간극의 6개 계층 — SLM과 LLM의 선택이 실제로 이루어지는 곳

  1

    **입력 및 분류 계층 (Intake & Classification Layer) (SLM 선호)**

가공되지 않은 입력(Raw input)이 도착합니다 — 티켓, 이메일, 문서 등입니다. Phi-3 또는 Llama 3.2 3B와 같이 미세 조정된 (fine-tuned) SLM이 이를 분류하고 라우팅(routing)합니다. 지연 시간(Latency) 목표는 200ms 미만입니다. 이곳은 볼륨이 가장 높기 때문에 호출당 비용이 거의 제로에 가까워야 합니다.

↓

  2
...

관련 문맥(context)이 벡터 데이터베이스 (Pinecone, Weaviate) 또는 SQL에서 추출됩니다. 이곳이 RAG (Retrieval-Augmented Generation)가 존재하는 지점입니다. 지식 작업에 대한 답변 정확도를 결정하는 것은 모델이 아니라 검색(retrieval) 품질입니다.

↓

  3
...

다단계 추론 (multi-step reasoning), 모호성 해소 (ambiguity resolution), 그리고 합성 (synthesis) 단계입니다. 여기서는 미세 조정된 프론티어 LLM (Claude, GPT-4급) 또는 Llama 3.1 70B가 그 비용만큼의 가치를 증명합니다. 1~2단계에서 실제적인 복잡성이 감지되었을 때만 이 계층으로 라우팅하십시오.

↓

  4
...

모델이 도구(tools) — CRM, ERP, 결제 시스템 등 — 를 호출하며, 이는 점점 더 모델 컨텍스트 프로토콜 (Model Context Protocol, MCP)을 통해 이루어집니다. 이곳은 실제 행동이 일어나는 곳이며, 환각(hallucination)된 인수가 실제 세계의 오류로 변하는 지점입니다.

↓

  5
...

어떤 모델이 어떤 단계를 처리할지 결정하고, 상태(state)를 관리하며, 실패 시 재시도하고, 가드레일 (guardrails)을 강제하는 컨트롤러입니다. 이는 대부분의 팀이 명시적으로 구축하지 않는 계층이며, 바로 이곳에서 조정 격차 (Coordination Gap)가 해소되거나 상실됩니다.

↓

  6
...

모든 출력은 로그로 기록되고, 점수가 매겨지며, SLM 미세 조정 (fine-tuning)에 다시 피드백됩니다. 이것이 복리 효과를 내는 이점입니다. 저렴한 SLM은 시간이 지남에 따라 귀하의 데이터로 더 똑똑해지며, 귀하의 특정 작업에 대해 프론티어 모델과의 품질 격차를 좁혀 나갑니다.

이 시퀀스(sequence)는 중요합니다. 왜냐하면 신뢰성은 승수적으로 누적되기 때문입니다. 이 6개 계층 사이에서 관리되지 않는 모든 핸드오프 (handoff)는 조정 격차 (Coordination Gap)가 엔드 투 엔드 (end-to-end) 정확도를 조용히 갉아먹는 지점이 됩니다.

이것이 무엇을 재정의하는지 주목하십시오. 질문은 더 이상 'SLM인가 LLM인가?'가 아닙니다. '어느 계층에 어떤 모델을 사용할 것이며, 핸드오프를 어떻게 조정할 것인가?'입니다. 성숙한 스택은 _둘 다_를 사용합니다. 볼륨이 높은 가장자리(계층 1, 4)에는 저렴한 SLM을 사용하고, 추론 핵심(계층 3)에만 미세 조정된 LLM을 사용합니다. 이것이 실제 파이프라인에 어떻게 매핑되는지 멀티 에이전트 시스템 (multi-agent systems) 가이드를 통해 알아보세요.

대부분의 팀이 취할 수 있는 가장 높은 ROI(투자 대비 수익)를 가진 조치는 모델을 업그레이드하는 것이 아닙니다. 바로 1계층(layer 1)에 SLM 분류기(classifier)를 삽입하여, 전체 트래픽의 15~20%만이 3계층(layer 3)에 있는 비용이 많이 드는 미세 조정된 LLM(fine-tuned LLM)에 도달하도록 하는 것입니다. 한 이커머스 운영사는 정확히 이 변화를 통해 월간 추론(inference) 비용을 41,000달러에서 9,000달러로 절감했습니다.

실제 트래픽 라우팅(routing): 1계층의 SLM은 비용 게이트(cost gate) 역할을 수행하며, 진정으로 복잡한 요청만을 추론 계층(reasoning layer)에 있는 미세 조정된 LLM으로 보냅니다. 이것이 'AI 조정 격차(The AI Coordination Gap)'를 경제적으로 메우는 핵심 메커니즘입니다.

각 계층의 실제 작동 방식: SLM vs 미세 조정된 LLM 결정

1계층 및 4계층: SLM이 결정적으로 승리하는 지점

입력(intake) 및 도구 호출(tool-calling) 계층은 다음과 같은 특성을 공유합니다: 극도로 높은 트래픽 양, 좁은 작업 정의, 그리고 엄격한 지연 시간(latency) 예산. 이는 SLM의 영역입니다. 4비트(4-bit)로 양자화(quantized)된 LoRA 미세 조정(LoRA-fine-tuned) Phi-3 또는 Llama 3.2 3B 모델은 단일 중간 사양 GPU에서 실행되며 200ms 이내에 분류 결과를 반환합니다. Microsoft의 Phi-3 보고서에 따르면, 3.8B 모델은 휴대폰에서 실행될 수 있을 만큼 작음에도 불구하고 많은 벤치마크에서 Mixtral 8x7B 및 GPT-3.5와 대등한 성능을 보여줍니다. Meta의 자체 Llama 연구팀 또한 3B 클래스 모델에 대해 유사한 엣지(edge) 실행 가능 결과를 보고하고 있습니다.

여기에는 직관에 반하는 진실이 있습니다: 구조화된 추출(structured extraction) 및 분류(classification)의 경우, 2,000~5,000개의 자체 라벨링된 예시로 소형 모델을 미세 조정(fine-tuning)하는 것이 프런티어 모델(frontier model)에 프롬프팅(prompting)하는 것보다 더 낫습니다. 프런티어 모델이 더 많은 일반 지식을 가지고 있는 것은 사실입니다. 하지만 귀하의 SLM은 귀하의 정확한 스키마(schema), 예외 사례(edge cases), 그리고 라벨 분류 체계(label taxonomy)를 수백 번 확인했습니다. 좁은 범위의 작업에서는 규모(scale)보다 구체성(specificity)이 승리합니다. 매번 말이죠.

귀하의 송장(invoice) 5,000개를 학습한 7B 모델은, 송장을 단 하나도 본 적 없는 GPT-4보다 추출 성능이 뛰어날 것입니다. 좁은 범위의 작업(narrow tasks)에서는 도메인 특화 데이터(Domain-specific data)가 원시 규모(raw scale)를 매번, 반드시 이깁니다.

Python — SLM 분류기를 위한 LoRA 미세 조정(fine-tune) 설정 (Layer 1)

티켓 분류를 위한 Llama 3.2 3B 미세 조정용 최소 LoRA 설정

단일 24GB GPU에서 실행 가능 — 이것이 SLM의 핵심 목적입니다.

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
r=16, # 낮은 랭크(low rank) = 더 적은 학습 가능 파라미터(trainable params)
lora_alpha=32,
target_modules=['q_proj', 'v_proj'], # 어텐션 투영(attention projections)만 대상
lora_dropout=0.05,
task_type='CAUSAL_LM'
)

파라미터의 약 0.3%만 학습됨 -> 빠르고, 저렴하며, 사내(in-house) 호스팅 가능

model = get_peft_model(base_model, lora_config)

레이블이 지정된 5,000개의 티켓으로 학습; 약 2 GPU-시간 내에 수렴

Layer 3: 미세 조정된 LLM이 비용을 정당화하는 지점

추론 계층(reasoning layer)은 다릅니다. 작업이 여러 번의 추론(inference)을 체이닝하거나, 진정한 모호성(ambiguity)을 해결하거나, 긴 컨텍스트(long context)를 가로질러 합성(synthesizing)해야 하는 경우, 모델의 역량(capability)이 결합 제약(binding constraint)이 됩니다. 이 단계에서는 미세 조정된 프런티어(frontier) LLM — 또는 자체 호스팅이 필요한 경우 미세 조정된 Llama 3.1 70B — 이 호출당 발생하는 더 높은 비용만큼의 가치를 합니다. 정확히 SLM 게이트를 통과한 15~20%의 트래픽에 대해서만 호출되기 때문입니다.

이것이 전략적 통찰입니다: SLM '또는' LLM을 선택하는 것이 아닙니다. 여러분은 캐스케이드(cascade)를 구축해야 합니다. SLM은 필터이고, LLM은 전문가입니다. 이 캐스케이드를 함께 연결하려면 명시적인 오케스트레이션 계층(orchestration layer)이 필요하며, 바로 이 지점에서 LangGraph, AutoGen, 그리고 CrewAI가 등장합니다. 저희의 AI 에이전트 라이브러리에서 이미 만들어진 라우팅 패턴을 살펴보세요.

Layer 5: 오케스트레이션 — 실제로 격차를 메우는 계층

LangGraph (LangChain 팀 제작, 2025년 기준 프로덕션 준비 완료)는 워크플로우를 상태 유지 그래프(stateful graph)로 모델링합니다. 노드(nodes)는 모델이나 도구(tools)이며, 엣지(edges)는 조건부 경로(conditional routes)입니다. 또한 그래프는 단계 전반에 걸쳐 상태(state)를 유지하므로, 레이어 4에서 실패가 발생하더라도 전체 파이프라인을 재시작하지 않고 재시도할 수 있습니다. 이것이 바로 $0.97^6$의 신뢰도 저하를 막는 방법입니다. Microsoft의 AutoGen과 CrewAI는 서로 다른 추상화 방식인 대화형 에이전트(conversational agents)와 역할 기반 크루(role-based crews)를 통해 동일한 문제를 해결합니다.

Coined Framework

AI 조정 격차 (The AI Coordination Gap)