엔터프라이즈 AI의 미래는 로컬인가?

지난 몇 년 동안 AI에 대한 표준적인 접근 방식은 순수한 무력(brute force)이었습니다. 즉, 손에 넣을 수 있는 가장 크고 비싼 클라우드 호스팅 프론티어 모델(frontier model)을 가져와서 모든 문제에 쏟아붓는 방식이었습니다.

하지만 이러한 "일률적인(one-size-fits-all)" 접근 방식이 영원히 지속되지는 않을 것입니다. 프론티어 모델의 비용 증가가 기업들이 무시할 수 없는 수준이 되는 것과 마찬가지로, 로컬 모델(local models)의 역량이 곧 "충분히 좋은(good enough)" 임계값을 넘어설 전환 단계에 진입하고 있습니다.

다음은 왜 제가 저울추가 로컬의 제어 가능한 하드웨어 쪽으로 확고하게 기울기 시작했다고 믿는지에 대한 이유입니다.

1. 다가오는 API 비용 대 가치의 현실 점검

현재 기업들은 직원들이 AI 열풍에 동참하도록 적극적으로 권장하고 있습니다. 하지만 이러한 신혼여행 기간(honeymoon phase)은 결국 벽에 부딪힐 것입니다. 가까운 미래에 기업들은 AI 배포의 비용 대비 보상 비율(cost-versus-reward ratio)을 엄격하게 조사하기 시작할 것입니다.

전형적인 엔터프라이즈 토큰 소모량을 고려해 보십시오. 만약 엔지니어가 API 호출에 매달 10,000파운드 상당의 토큰을 소모하고 있다면, 그들이 실제로 10,000파운드만큼의 가치를 더하고 있는 것일까요? 아니면 단순히 내부 AI 사용 순위표를 올라가기 위한 비싼 새로운 습관을 들인 것일까요? 결국 CFO(최고재무책임자)가 예산 삭감을 요구하게 되면, 전적으로 클라우드 API에 의존하는 팀들은 하룻밤 사이에 그 비싼 습관을 버리거나 대안을 찾아야만 할 것입니다.

단순한 비용을 넘어, 클라우드 제공업체들은 워크플로우 마찰(workflow friction)을 계속해서 유발할 가능성이 높습니다. 우리는 이미 제공업체가 토큰 허용량을 줄이거나, 시간대에 따라 동적 속도 제한(rate-limiting)을 적용하거나, 사용량이 많은 피크 시간대에 트래픽을 하위 티어 모델로 밀어내는 사례들을 목격했습니다. 핵심 워크플로우를 제3자 API로 구축한다는 것은 당신이 제어 장치(throttle)를 진정으로 통제할 수 없음을 의미합니다.

이는 데이터 소유권(data ownership) 문제조차 고려하지 않은 것입니다. 지금까지 강력한 모델들은 폐쇄형 가중치(closed weight) 모델뿐이었기에 소유권 측면에서 선택지가 많지 않았습니다. 하지만 이제 유사한 성능을 제공하면서도 완전한 통제하에 데이터 센터에 배포할 수 있는 오픈 가중치(open weight) 모델들을 사용할 수 있게 되었으며, 이는 강력한 셀링 포인트(selling point)가 되고 있습니다.

2. 다가오는 소프트웨어 및 실리콘 혁명

기존의 논거는 항상 수백만 파운드 규모의 GPU 클러스터 없이는 "진정한" AI를 실행할 수 없다는 것이었습니다. 하지만 그 논거는 곧 완전히 구식이 될 것입니다.

우리는 소프트웨어 효율성 측면에서 거대한 도약의 직전에 서 있습니다. TurboQuant, 스마트 SSD 오프로딩(SSD offloading), 그리고 1비트 모델 아키텍처(1-bit model architectures)의 부상과 같은 기술들은 우리가 곧 매우 뛰어난 성능의 모델들을 대폭 축소된 하드웨어 점유 공간(hardware footprints)에 밀어 넣을 수 있음을 의미합니다. 동시에, 전문 연구소들은 차세대 비(非) GPU 커스텀 실리콘(custom silicon)을 적극적으로 설계하고 있습니다. 향후 몇 년 동안, 이러한 새로운 칩 설계는 현재의 GPU 시장 병목 현상을 완전히 해소하여, 전용 로컬 추론(inference) 박스를 저렴하고 접근 가능하게 만들 것으로 기대됩니다. 이는 이미 Mac mini, Nvidia DGX spark, AMD Strix Halo 기기들을 통해 시작되었습니다. 이들은 모두 소형 폼 팩터(small form factor)임에도 불구하고, 팀 전체가 공유할 수 있을 만큼 충분한 용량의 대규모 모델을 실행할 수 있으며 5,000파운드 미만의 가격으로 이용 가능합니다.

3. 피할 수 없는 오픈 가중치의 동등성

미국 기반의 폐쇄형 가중치(closed-weight) 연구소들을 보호하던 해자(moat)가 빠르게 메마르고 있습니다. OpenAI와 Anthropic의 최상위 독점 모델들과 공격적으로 경쟁하는 오픈 가중치 모델들이 끊임없이 쏟아져 나오고 있습니다.

GLM, Qwen, DeepSeek, 그리고 Kimi와 같은 모델 제품군에서 출시될 차기 모델들이 계속해서 발전함에 따라, 이들은 미국 연구소들의 성능에 지속적으로 부합하거나 때로는 이를 추월할 것입니다. 이러한 동등성(parity)이 표준이 되면, 최상위 수준의 추론(reasoning)을 위해 프리미엄 비용을 지불할 이유가 없어질 것입니다. 기업들은 기업 데이터에 대한 완전한 주권(sovereignty)을 유지하고 토큰당 과금(per-token pricing)을 완전히 제거하기 위해, 자연스럽게 이러한 모델들을 직접 호스팅하는 방식으로 전환할 것입니다.

4. 미래는 계층화될 것이다: 작업에 맞는 적절한 도구 크기 결정 (Right-Sizing)

프런티어 모델 (Frontier models)이 가능성의 절대적인 경계를 항상 넓혀가겠지만, 일상적인 작업에는 그 정도의 가공할 만한 성능이 필요한 경우가 거의 없습니다. 엔터프라이즈 컴퓨팅 (Enterprise compute)의 미래는 가장 큰 모델을 사용하는 것이 아니라, 작업에 적절한 도구를 라우팅 (Routing)하는 것에 관한 것이 될 것입니다.

• 개발자 노트북 (백그라운드 작업): 개발자들은 곧 외부 API 호출을 전혀 하지 않고도 노트 작성, 문서 업데이트, PR (Pull Request) 요약 또는 이메일 초안 작성과 같은 기본 작업들을 처리하게 될 것입니다. 우리는 기본적인 노트북의 시스템 메모리에 직접 마운트되어, 사용자가 실제 엔지니어링에 집중하는 동안 백그라운드에서 천천히 결과를 만들어내는 작고 효율적인 LLM (Large Language Models)을 보게 될 것입니다. 이는 비용이 전혀 들지 않으며 데이터 유출도 없습니다.

• 전용 팀 서버 (헤비 리프팅): 더 복잡한 작업을 위해, 코드 생성 모델 (Qwen의 27B 파라미터 반복 모델 등)이 중소규모의 코드베이스를 처리할 것입니다. 이러한 모델들은 강력한 로컬 워크스테이션이나 전용 온프레미스 (On-prem) 또는 클라우드 호스팅 팀 머신에 배포되어, 강력한 팀 단위 역량을 제공하는 동시에 비용이 많이 드는 토큰 기반 호출을 완전히 우회할 것입니다.

마치며

프런티어 모델은 최첨단의 매우 복잡한 추론을 위해 항상 그 자리를 지킬 것입니다. 하지만 소프트웨어 최적화로 인해 로컬 모델을 실행하는 것이 극적으로 쉬워지고, 오픈 웨이트 (Open-weight) 생태계가 필연적으로 진정한 동등성 (Parity)을 달성함에 따라, 토큰 단위로 지능을 빌려 쓰는 방식은 점점 더 구식으로 보일 것입니다.

가장 영리한 기업은 더 큰 API 비용을 계획하는 기업이 아니라, 자체 하드웨어에서 AI의 크기를 적절하게 조정할 (Right-size) 준비를 하는 기업이 될 것입니다.