진정한 DeepSeek 모먼트가 우리에게 다가왔습니다

수십 년 전처럼 느껴지지만, 시장은 DeepSeek의 R1 모델에 움찔했습니다. 그 이론은 기반이 되는 V3 모델의 학습 비용이 600만 달러 미만이라고 보고됨에 따라, 모델 학습을 위한 막대한 자본 지출 (Capex) 시대가 끝났다고 시장이 판단했고, 그 결과 Nvidia 등의 주가가 하룻밤 사이에 폭락했다는 것이었습니다.

물론, 이는 AI의 비용이 실제로 어디에 위치하는지에 대한 매우 잘못된 해석이었습니다. 학습 (Training)은 의심할 여지 없이 자본 집약적이지만, 고정된 선행 비용입니다. 모델을 학습시키기 위해 수억 달러를 지출하면, 그 작업은 "끝"납니다.[1]

반면, 추론 (Inference)은 수요에 따라 규모가 확장됩니다. 여기에는 진정한 한계 비용 (Marginal costs)이 존재합니다. 저는 지난 1년여 동안 이에 대해 길게 글을 써왔습니다. 다시 말하지만, 제공업체가 부과하는 API 비용이 그들의 실제 비용이라는 주류의 이해는 잘못되었습니다.

실제로 Anthropic/OpenAI가 추론에 대해 MTok당 25달러를 부과할 때, 저의 간단한 계산으로는 이것이 표준 요금 대비 컴퓨팅 비용에 대해 아마도 90% 정도의 매출 총이익률 (Gross margin)일 것으로 추정됩니다. 이보다 조금 높거나 낮을 수는 있습니다 (OpenAI의 유출된 재무 제표는 매출에 대해 약 60%의 매출 총이익률을 시사하지만, 여기에는 지원, 결제 처리 및 기타 제공 서비스와 같은 많은 다른 비용이 포함되어 있음이 분명합니다). 하지만 프런티어 AI 연구소의 전체 비즈니스 모델은 요약하자면 모델을 학습시키기 위해 급여와 컴퓨팅에 막대한 돈을 지출한 다음, 그 비용을 매우 수익성이 높은 많은 추론을 통해 상각 (Amortise)하는 것입니다. 충분한 추론을 통해 그 비용을 상각할 수 있다면, 매출원가 (COGS) 기준으로 수익이 나는 상태에서... 실제로 수익이 나는 상태로 전환됩니다.

GLM 5.2

저는 지난 몇 주 동안 Z.ai의 GLM5.2를 가지고 놀아보았습니다. 저는 GLM5.2가 Opus 및 GPT의 진정한 오픈 웨이트 (Open weights) 경쟁자라는 "기준"에 도달한 첫 번째 모델이라고 믿습니다 (이 글을 쓰는 시점에서 GPT의 최신 버전은 5.5였습니다 - 향후 모델들은 의심할 여지 없이 이를 넘어설 것입니다).

이 모델은 진정으로 매우 뛰어나며, 저의 데일리 드라이버(Daily driver)인 Opus와 GLM5.2 사이의 차이점을 구별하기가 어렵습니다.

저는 이 모델이 수행하려는 사고(thinking)의 양 때문에 느리다는 것을 발견했습니다. 시간이 결정적이지 않은 비대화형 에이전트 작업(background에서 PR을 검토하는 것과 같은 작업)의 경우 이는 문제가 되지 않지만, 대화형 사용의 경우 제 주의력을 유지하기에는 확실히 너무 느립니다. 이는 또한 비용 효율성(cost effectiveness)을 어느 정도 감소시킵니다 (더 많은 사고는 더 많은 토큰을 의미하며, 이는 비용을 증가시킵니다).

또한 시각(vision) 지원 기능이 없습니다. 제가 시각 기능을 거의 사용하고 싶어 하지 않던 상태(너무 부정확해서 시각 기능을 사용하는 것을 발견하면 세션을 중단하곤 했습니다)에서, Opus 4.7이 훨씬 더 높은 해상도의 시각 기능을 도입한 이후로 항상 사용하는 상태로 얼마나 빠르게 변했는지 참 재미있습니다. 이미지 기반의 PDF, 스크린샷, 디자인 파일을 읽지 못한다는 점은 진심으로 답답합니다. 그들이 더 강력한 멀티모달 (multimodal) 모델을 개발 중일 것이라 확신하지만, 이는 프런티어 랩(frontier labs)들에 비해 상당한 약점입니다.

둘째로, 그리고 제가 차단 요소(blocker)가 될 것이라고는 정말 예상하지 못했던 점은 웹 검색(web search) 기능의 부재 또는 미흡함입니다. 알고 보니 거의 모든 에이전트 세션은 항목을 찾아보기 위해 엄청나게 많은 웹 검색을 수행합니다. Z.ai는 웹 검색을 위한 대체 MCP를 제공하지만, 상당히 형편없고 느립니다. Fireworks는 아무것도 제공하지 않으며, 제품을 개선하기 위해 항상 노력하고 있다는 매우 모호한 답변만을 주었습니다. 개인적으로 저는 이를 계획이 없다는 뜻으로 받아들이겠지만, 일단 지켜보겠습니다.

저는 에이전트에게 ddgr와 같은 CLI 기반 웹 검색을 사용하도록 지시함으로써 이를 어느 정도 우회할 수 있었지만, 이는 현재 실질적인 약점입니다. 저는 제3자 웹 검색 API의 잠재력에 대해 매우 낙관적(bullish)입니다. 이는 사실 오픈 웨이트 (open weights) 모델 제공업체들이 제공할 수 있는 것들 사이의 거대한 격차이며, 훌륭한 웹 검색 기능이 많은 에이전트 작업에 필수적이라는 사실이 밝혀졌습니다. 어쨌든, 이는 의심할 여지 없이 시간이 지나면 해결될 것입니다. 웹 검색 인덱스를 구축하는 많은 사람들이 있으며, 적절한 파트너십과 인프라(plumbing)만 갖춰지면 됩니다.

즉시 교체 가능한 대안 (Drop in replacement)

프런티어 연구소(frontier labs)들에게 정말 무서운 점은 오픈 웨이트 (open weights) 모델로 전환하는 것이 얼마나 쉬운가 하는 점입니다. Z.ai와 Fireworks 모두 OpenAI 호환 및 Anthropic 호환 엔드포인트(endpoint)를 제공합니다. 이는 Claude Code 및 Codex와 함께 사용하는 것을 매우 사소한 일로 만듭니다. 그저 베이스 URL(base URL)을 귀하의 추론 제공업체(inference provider)를 가리키도록 설정하고, API 키를 입력한 뒤 GLM5.2를 사용하라고 명령하기만 하면 됩니다.

Anthropic이 최근 claude -p를 통한 비대화형 에이전트적 사용(non-interactive agentic use)에 대해 API 요금을 부과하겠다고 발표했다가 (이후 철회한) 점을 고려하면, 많은/대부분의 그러한 사용 사례에서 단순히 GLM을 대신 사용할 수 있다는 것을 알게 될 것입니다. 그리고 대화형 사용의 경우, 시각 기능(vision)의 부재와 느린 속도[2]를 제외하면, 제가 Claude Code에서 Opus를 사용하고 있지 않다는 사실을 깨닫는 것이 진심으로 거의 불가능할 정도였습니다.

이는 마이그레이션 계획을 세우는 데 수년을 소비해야 하는 Microsoft나 Salesforce식의 락인(lock-in)이 아닙니다. 전환 비용(switching costs)은 믿기지 않을 정도로 낮으며, 저는 오히려 프런티어 연구소 모델들이 갈팡질팡하며 변경하는 모든 정책과 약관의 변화를 따라잡으려 노력하는 것보다 전환 비용이 훨씬 적다고 주장하고 싶습니다. Claude Code가 제3자 제공업체 사용을 더 어렵게 만들 수도 있겠지만, 수십 개 중 Codex 자체와 OpenCode 같은 많은 훌륭한 오픈 소스 옵션들이 존재합니다.

기업들로부터 듣는 한 가지 우려는 데이터 프라이버시와 보안입니다. Z.ai의 공식 API와 구독을 사용하는 것은 그들의 약관이 기껏해야 취약하고 중국 본토와의 깊은 연결성을 고려할 때 거의 불가능한 선택임이 분명합니다. 하지만 물론 오픈 웨이트가 개방형이기 때문에 시장에는 적절한 계약 조항을 갖춘 다른 많은 제공업체가 있습니다. 그리고 그것만으로 충분하지 않다면, 당연히 온프레미스(on-premises)에서 직접 호스팅할 수도 있으며, 이는 실제로 그 어떤 제3자에게도 보낼 수 없었던 훨씬 더 민감한 데이터를 Opus 수준의 에이전트적 워크플로(agentic workflows)에 활용할 수 있게 해줍니다.

비용 절감

GLM5.2의 현재 시세는 MTok(백만 토큰)당 약 4.40달러 수준으로 보입니다. 이는 Opus 소매가의 20% 미만이며, GPT5.5 비용의 약 15% 수준입니다. 물론 특정 작업에 대해 더 많은 토큰을 사용하기 때문에, 이것이 완전히 동일한 조건(apples to apples)에서의 비교는 아닙니다. 하지만 매우 유사한 품질 수준에서 거의 모든 워크플로(workflows)에 대해 50% 이상 저렴하지 않다면 저는 매우 놀랄 것입니다.

구독 측면에서, Z.ai는 Anthropic 및 OpenAI에서 볼 수 있는 플랜과 유사하지만, 더 높은 사용 한도를 주장하는 "코딩 플랜(coding plan)" 구독을 제공합니다. 대부분의 전문적인 용도에서는 훈련(training) 및 데이터 보유(data retention)와 관련된 매우 느슨한 약관 때문에 판매가 어려울 것으로 예상되지만, 만약 프런티어 랩(frontier labs)들이 가격을 대폭 인상하려 한다면 예산에 민감한 사용자들에게 신뢰할 만한 옵션이 될 수 있다고 봅니다.

서빙 스택(serving stack)에 대한 최적화가 더 진행됨에 따라, 향후 몇 달 안에 GLM5.2의 비용도 상당히 낮아질 것으로 예상합니다. Wafer는 이를 AMD 하드웨어에서 실행하려는 노력에 대해 흥미로운 글을 작성했습니다. 그들은 Nvidia Blackwell 대비 AMD에서 추론(inference)을 실행하는 것이 토큰당 2.75배 더 저렴하다고 제안합니다.

공개 사항 - Fireworks는 이 기사를 작성하는 데 도움을 주기 위해 GLM을 실험할 수 있는 무료 크레딧을 친절하게 제공해 주었습니다.

이것은 단순화된 설명입니다. 프런티어 랩들은 경쟁력을 유지하기 위해 사실상 끊임없이 새로운 모델을 훈련하고 있으므로, 이는 진정한 일회성 비용이라기보다는 계속해서 발생하는 비용(rolling cost)에 가깝습니다. 하지만 핵심적인 차이점은 여전히 유효합니다. 추론(inference)과 달리, 그 비용은 고객이 제품을 실제로 얼마나 사용하는지에 따라 확장(scale)되지 않습니다. ↩︎

공정하게 말하자면, 느린 속도는 서빙 자체보다는 주로 모델이 많은 생각을 하기 때문입니다. Fireworks는 진정으로 빠른 토큰/초(tokens/sec) 속도로 GLM5.2를 출시했으며, 이는 엄청난 개선이었고 계속 지켜볼 가치가 충분했습니다. 다만 실제로 사용해 보았을 때 실제 속도가 다소 변덕스럽다는 것을 발견했습니다. ↩︎