만약 당신이 자신의 하드웨어에서 실행할 수 있을 만큼 AI가 저렴해지기를 기다려왔다면, 바로 그 순간이 왔습니다.

소형 모델과 대형 모델 사이의 격차가 무너졌습니다.

오늘날의 70억(7B) 파라미터 모델은 불과 12개월 전에는 70B 이상의 파라미터가 필요했던 점수들을 따라잡을 수 있습니다. 이것은 점진적인 개선이 아니라, 패러다임의 전환(paradigm shift)입니다.

무엇이 변했는가?

두 가지 힘이 이를 주도하고 있습니다:

1. 아키텍처(Architecture)의 돌파구. 전문가 혼합(Mixture-of-Experts, MoE), 멀티 헤드 잠재 어텐션(multi-head latent attention), 그리고 더 나은 학습 레시피(training recipes)가 능력을 극적으로 더 작은 규모로 압축했습니다. Huawei의 openPangu 2.0 Flash (92B MoE)와 같은 오픈 웨이트(Open-weight) 모델은 6개월 전의 프런티어(frontier) 모델들과 경쟁하면서도 소비자용 GPU에서 실행됩니다.

2. 가격의 폭락. Stanford의 2026 AI Index Report는 2023년 이후 추론(inference) 비용이 280배 감소했음을 기록했습니다. Gartner는 LLM이 2030년까지 초기 GPT 규모 모델들보다 100배 더 비용 효율적이 될 것이라고 전망합니다. 중간 단계 모델들의 API 가격은 2023년 이후 90% 이상 하락했습니다.

개발자들에게 이것이 의미하는 바

• 노트북에서 프런티어급 모델 실행. 오늘날 최고의 7B 모델들은 작년에 클라우드 엔드포인트(cloud endpoints)가 필요했던 코딩, 추론, 그리고 긴 문맥(long-context) 작업을 처리합니다.
• 추론 우선 경제(Inference-first economics). 기업용 AI GPU 지출의 55~80%가 추론에 사용됨에 따라, 소형 모델은 품질을 희생하지 않으면서 운영 비용을 대폭 절감합니다.
• 오픈 웨이트(Open weights)의 승리. 이번 분기의 거의 모든 주요 출시작 — Cohere North Mini Code, MiniMax M3, openPangu 2.0 Flash — 은 오픈 웨이트 방식이며, 이는 토큰당 비용이 제로임을 의미합니다.

결론

"클수록 항상 좋다"는 시대는 끝나가고 있습니다. 소형 모델은 단순히 따라잡고 있는 것이 아니라, AI의 경제 구조를 재편하고 있습니다. 최첨단 지능을 실행하기 위해 더 이상 월 1만 달러 규모의 GPU 클러스터가 필요하지 않습니다.

데스크톱에서 실행하세요. 엣지(edge)에 배포하세요. 6개월 전에는 불가능했던 제품들을 만드세요.

소형 모델 혁명은 다가오고 있는 것이 아닙니다. 이미 여기에 와 있습니다.

당신은 어떤 소형 모델을 로컬에서 실행하고 있나요? 댓글로 알려주세요.