「그래서, 결국 무엇을 사용해야 하는가」에 답할 수 없다

2026년 7월 8일부터 9일에 걸쳐 OpenAI, SpaceXAI(구 xAI), Meta가 각각 신규 모델을 출시했다. 타임라인에는 벤치마크(Benchmark) 표가 흘러가며, 「SOTA 갱신」, 「Opus급」, 「GPT-5.5 초과」와 같은 문구들이 나열된다.

이 글을 쓰기 위해 그 숫자들을 1차 정보로 확인하려 했다. 결과적으로, 당초 쓰려고 했던 글을 쓸 수 없게 되었다. 숫자를 확인할 수 없기 때문이다. SOTA라고 불리는 수치는 표준 구성에서의 측정이 아니었고, 어떤 모델은 모델 카드(Model Card) 자체가 존재하지 않았으며, 어떤 모델은 공식 발표에 벤치마크 수치가 단 한 줄도 실려 있지 않았다.

이 글에서는 2026년 7월에 등장한 신규 모델군을 기술 사양(Technical Specification) 베이스로 정리한다. 동시에, 왜 지금 그것들을 나란히 놓고 비교할 수 없는가라는 구조적인 문제를 다룬다. 벤치마크 표를 바라보며 모델을 선택하는 운용 방식은 이제 곧 기능을 상실하게 될 것이다.

TL;DR

「프론티어 3사가 당일 론칭」은 부정확함. Grok 4.5는 7월 8일(수), GPT-5.6 GA와 Muse Spark 1.1은 7월 9일(목)이다 (TechCrunch) - Terminal-Bench 2.1의 SOTA 「91.9%」는
GPT-5.6 Sol의 Ultra mode (서브 에이전트 + 추가 계산 자원) 수치. max effort인 Fable 5, xhigh effort인 GPT-5.5, 구성 기재가 없는 Grok 4.5와 동일한 표에 나열되어 있음 -
Grok 4.5는 모델 카드가 미공개 상태. Grok 4 및 4.1에서는 공개되었었음. 훈련 데이터 오염(Training Data Contamination)을 신고한 것은 xAI가 아니라 Cursor사이며, 해당 벤치마크는 각주에서 제외됨 -
Meta Muse Spark 1.1은 공식 블로그에 벤치마크 수치가 전혀 없음. 유포되고 있는 비교치는 모두 제3자 측정값임. 클로즈드 웨이트(Closed Weight) + Meta 최초의 유료 API - Claude Sonnet 5의 새로운 토크나이저(Tokenizer)는 동일한 입력이
1.0~1.35배의 토큰이 됨. Anthropic은 도입 가격을 이를 상쇄하는 「비용 중립(Cost Neutral)」으로 설정했다고 명시함 (Anthropic 공식) -
Gemini 3.5 Pro는 7월 16일 시점에서 미출시. 유포되고 있는 2M 컨텍스트, $1.25/$10 등의 스펙은 모두 보도 기반이며, 공식 발표는 존재하지 않음

1. 2026년 7월, 무엇이 나왔는가

먼저 시계열을 확정한다. 이 부분이 가장 논란이 되는 지점이므로, 날짜의 근거를 명시한다.

「AI 역사상 최초, 프론티어 3사가 같은 날 신규 모델을 론칭」이라는 표현이 널리 퍼졌으나, 1차 정보에 가까운 보도를 찾아보면 성립하지 않는다. TechCrunch는 7월 8일 자로 「released Wednesday」라며 Grok 4.5를 보도했으며, 2026년 7월 8일은 수요일이다 (TechCrunch, Axios). 반면, GPT-5.6의 GA와 Muse Spark 1.1은 7월 9일이다 (OpenAI Developer Community, Meta 공식 블로그).

2일간에 집중된 것은 사실이지만, 「당일」은 과장이다. 이 정도의 날짜조차 2차 정보 집약 사이트들 사이에서 엇갈린다는 사실 자체가 이 글의 주제를 위한 복선이 된다.

2. OpenAI GPT-5.6 — Sol / Terra / Luna의 3단계 티어

GPT-5.6은 3개의 모델로 구성된 패밀리로 제공된다.

공통 사양은 컨텍스트 100만 토큰, 최대 출력 128,000토큰, 지식 컷오프(Knowledge cutoff) 2026년 2월 16일(developers.openai.com)이다. 모델 ID는 gpt-5.6-sol임이 공식 개발자 문서에서 확인되었으나, Terra와 Luna의 공식 모델 ID 문자열은 미확인 상태다.

API 측의 신규 기능으로는 Programmatic Tool Calling, Multi-agent 기능, Prompt cache breakpoints, 이미지 처리의 detail: original 옵션, 그리고 max reasoning effort 추가가 언급되었다(Simon Willison).

「Spud 기반」이라는 설명에 대하여

GPT-5.6이 「약 4조 파라미터의 Spud 기반」이라는 설명이 유포되고 있으나, 이는 정확하지 않다. 「Spud」는 GPT-5.5의 코드네임이며, 2026년 4월 23일 출시된 GPT-5.5가 약 4조 파라미터의 MoE(Mixture of Experts) 기반으로 알려져 있다(Axios). GPT-5.6이 Spud 기반을 계승했는지 아니면 새로운 기반인지에 대해서는 공식적으로 명시되지 않았다. GPT-5.6이 MoE인지 여부조차 미확인 상태이다.

Ultra mode — 이 부분이 후반부의 복선이 된다

Sol에는 「Ultra mode」와 새로운 max reasoning effort 설정이 있다. Ultra mode의 실체는 「서브 에이전트 (Sub-agent)를 활용하여 더 많은 계산 자원을 태스크에 투입함으로써 점수를 끌어올리는 모드」이다(OpenAI Developer Community).

reasoning effort의 효과는 제3자 검증 기관인 ARC Prize Foundation의 측정을 통해 명확히 알 수 있다. ARC-AGI-3에서 Sol의 점수는 low effort 시 0.3%, max effort 시 7.78% (Semi-Private) 및 13.33% (Public)이다(arcprize.org). 동일 모델임에도 25배 이상의 차이가 발생한다. 「GPT-5.6 Sol의 점수」라고 한마디로 말하더라도, 설정에 따라 이만큼이나 달라진다.

3. SpaceXAI Grok 4.5 — 모델 카드가 없는 「Opus급」

먼저 전제 조건부터 정리하자. xAI는 2026년 2월 SpaceX가 주식 교환 방식으로 인수하였으며, 7월 6~7일에 공식적으로 「SpaceXAI」로 리브랜딩되었다(Dataconomy). Grok 4.5는 상장 후 첫 모델 출시 모델에 해당한다.

가격이 눈길을 끈다. Opus 4.8이 $5/$25, Fable 5가 $10/$50인 점을 고려하면, $2/$6는 「Opus급」을 주장하는 모델로서는 상당히 저렴하다.

Terminal-Bench 2.1에서는 83.3%라는 수치가 여러 독립적인 소스에서 일치하게 나타났다. 같은 표에 나열된 타 모델은 GPT-5.5 (xhigh) 83.4%, Claude Fable 5 (max) 84.3%, Opus 4.8 (max) 78.9%이다(the-decoder.com, apidog.com).

Cursor의 데이터로 학습했다는 이야기

Grok 4.5의 특징으로 홍보되고 있는 것은 Cursor의 실제 에이전트 조작 로그를 통한 학습이다. 실제 개발자의 워크플로우, 디버거 조작, 다중 파일 diff, 사용자에 의한 수정 등의 데이터가 V9 기반의 추가 학습(Fine-tuning)에 사용된 것으로 알려졌다(Digital Applied). 학습에 사용된 데이터의 규모나 opt-in/opt-out 조건에 대해서는 2차 기사들의 기술 내용에 차이가 있어 확정적인 사실을 말할 수 없었다.

「Opus 4.8의 25% 토큰으로 해결 가능」을 추적한 결과

Grok 4.5 소개에서 자주 보이는 내용은 「동일한 태스크를 Opus 4.8의 약 25% 출력 토큰만으로 완료한다」는 토큰 효율성에 대한 주장이다. 이 기사에서도 당초에는 이 수치를 채택할 예정이었다.

하지만 출처를 특정할 수 없었다.

근거로 자주 인용되는 MindStudio의 비교 기사를 실제로 열어 확인해 보았으나, 그곳에 있었던 것은 "Claude Opus 4.8은 입력과 출력 모두 Grok 4.5보다 약 5배 높다"라는 단가(Unit Price)에 관한 이야기뿐이었으며, 태스크당 출력 토큰 수의 실측값은 기재되어 있지 않았다. 해당 페이지가 인용하고 있는 벤치마크 또한 SWE-bench Pro가 아니라 SWE-bench Verified(Grok 4.5 약 63% / Opus 4.8 약 60%)였다 (MindStudio).

"25%"라는 수치가 어딘가의 실측에 기반하고 있을 가능성을 부정하지는 않는다. 하지만 널리 인용되는 출처를 찾아보아도 근거를 확인할 수 없으며, xAI는 모델 카드 (Model Card)를 공개하지 않았기에 공식 측에서 확인할 수단도 없다. 따라서 이 기사에서는 토큰 효율성 수치를 채택하지 않는다.

이는 이번 조사에서 여러 번 발생한 일의 한 사례다. 인상적인 숫자일수록, 출처를 추적해 보면 아무도 측정하지 않은 경우가 많다.

그리고, 모델 카드가 없다

이 점이 이번 조사에서 가장 걸리는 부분이다. Grok 4.5에는 모델 카드가 공개되지 않았다. Grok 4와 Grok 4.1에서는 공개되었음에도 불구하고 말이다. 1.5조 파라미터라는 구성 역시 독립적인 감사가 존재하지 않으며, 자기 신고(Self-reporting)에 의존하고 있다.

이 맥락에서 훈련 데이터 오염 (Training Data Contamination) 이야기가 나온다. 흔히 "Grok 4.5는 훈련 데이터 오염을 자기 신고했다"라고 설명되곤 하지만, 이는 부정확하다. 실제로 이를 공개한 곳은 Cursor사이며, 심지어 블로그의 각주를 통해서였다. 내용은 CursorBench(Cursor의 자체 코드베이스를 기반으로 한 평가)의 채점 대상 코드베이스 스냅샷이 실수로 Grok 4.5의 훈련 데이터에 혼입되어, train/test 중복이 발생했기 때문에 CursorBench를 출시 시점의 벤치마크 표에서 제외했다는 것이다 (paddo.dev, kie.ai).

공정성을 기하기 위해 덧붙이자면, 오염의 영향 범위는 CursorBench에 한정되며, DeepSWE · SWE-Bench Pro · Terminal-Bench와 같은 제3자 벤치마크는 독자적인 인프라를 사용하기 때문에 영향을 받지 않는다고 여러 소스에서 명시하고 있다. 즉, 83.3%라는 수치 자체가 오염된 것은 아니다.

문제는 구조적인 측면이다. 자사 벤치마크가 자사 코드로 오염되었고, 그 사실이 파트너사의 각주를 통해 공개되었으며, 해당 벤치마크는 조용히 표에서 사라졌다. 그리고 모델 본체의 카드는 존재하지 않는다. 비난받아야 할 것은 개별 숫자가 아니라, 검증 가능성이 담보되지 않은 상태에서 SOTA(State-of-the-Art) 주장만이 유통되는 상황이라고 생각한다.

4. Meta Muse Spark 1.1 — 폐쇄화와 API 유료화로의 전환

Meta Superintelligence Labs가 7월 9일에 발표했다. 기술 사양 이상으로, Meta의 입장이 바뀌었다는 점이 본론이라고 해도 무방하다.

공식 블로그에서 확인할 수 있는 1차 정보는 다음과 같다 (Meta 공식 블로그).

• 컨텍스트 윈도우 (Context Window) 100만 토큰
• Meta Model API의 public preview 시작
• computer use 동작 방식: "자동화가 빠른 상황에서는 스크립트를 작성하고, 직접 조작이 간편한 상황에서는 클릭하며, 여러 액션을 배치(Batch)로 생성한다"

마지막 점은 사소해 보이지만 기술적으로 흥미롭다. 매 단계마다 1클릭씩 추론하는 단순한 computer use가 아니라, 스크립트 생성과 GUI 조작을 상황에 따라 나누어 사용하는 설계로 되어 있다. 에이전트의 computer use가 "인간을 흉내 내는 것"에서 "기계에게 효율적인 경로를 선택하는 것"으로 옮겨가고 있다.

가격은 입력 $1.25 / 출력 $4.25 (per 1M tokens)이며, $20 상당의 무료 크레딧이 제공된다. 단, 이 가격 수치는 공식 블로그 본문에는 보이지 않으며, Bloomberg 등의 보도를 통해 확인된 것이다 (Bloomberg).

그리고 Muse Spark 1.1은 클로즈드 웨이트 (Closed-weight) 모델이다. 로컬 실행도, 커뮤니티에 의한 파인튜닝 (Fine-tuning)도 불가능하다. 오픈 웨이트 (Open-weight) 배포를 기치로 내걸어 온 Llama 제품군과는 정반대의 구조다. 여러 보도에서 "Meta가 자사 AI 모델에 처음으로 가격을 책정했다"라고 일치되게 보도하고 있다 (Bloomberg, The New Stack).

공식 블로그에 벤치마크 수치가 단 한 줄도 없다

조사하면서 놀랐던 점이 바로 이것이다. Meta 공식 블로그에는 GPT-5.5나 Opus 4.8과의 비교 수치가 일절 기재되어 있지 않다. 유통되고 있는 비교값은 모두 제3자의 측정치이다.

출처: officechai.com, kingy.ai — 모두 이차 정보

이 표를 있는 그대로 읽으면 시사하는 바가 크다. Muse Spark 1.1은 도구 이용 계열에서는 승리하고, 코딩 계열에서는 패배하고 있다. JobBench에서는 GPT-5.5를 16.4포인트 차이로 따돌리며 승리하는 반면, DeepSWE 1.1에서는 반대로 13.7포인트 차이로 패배한다. Terminal-Bench 2.1의 차이는 3.4포인트로 작지만, 순위로 보면 역시 최하위다.

즉 동일한 3개 모델의 순위가 축에 따라 깔끔하게 반전된다. JobBench에서는 Muse Spark > Opus 4.8 > GPT-5.5, DeepSWE 1.1에서는 GPT-5.5 > Opus 4.8 > Muse Spark이다. 완전히 역순이다. 이 현상은 제7장(4)에서 다룬다.

5. Claude 진영의 현재 위치

이 부분은 날짜와 가격 확인이 중심이 된다. 모두 Anthropic 공식(일차 정보)이다.

Fable 5와 Opus 4.8은 이번 주의 뉴스가 아니다라는 점을 분명히 해두고 싶다. Fable 5가 7월 초에 화제가 된 것은 수출 규제로 인한 중단 이후의 복귀 때문이다. 시계열은 6월 9일 출시 → 6월 12일 미국 상무부의 지시로 전 세계 중단 (같은 날 17:21 ET 수령) → 6월 30일 규제 해제 → 7월 1일 재전개이다 (Statement on the US government directive, Redeploying Claude Fable 5). 이 사건의 상세 내용은 지난 기사에서 다루었다.

7월 9~16일의 Anthropic 발표는 모델보다는 프로덕트 및 조직 측면에 집중되어 있었다 (Anthropic Newsroom). 7월 7일의 Claude Cowork Web·iOS·Android 전개 (공식), 7월 14일의 Claude for Teachers, 7월 9일의 Long-Term Benefit Trust에 Ben Bernanke 씨 취임 등이 그것이다. 신규 모델 발표는 없었다.

Sonnet 5의 토크나이저(Tokenizer)와 「비용 중립」

기술적으로 가장 유념해야 할 부분은 여기다. Sonnet 5는 Opus 4.7에서 도입된 신규 토크나이저를 채택하고 있으며, 동일한 입력이 약 1.0~1.35배의 토큰 수로 매핑된다고 Anthropic이 공식적으로 명시하고 있다 (Anthropic 공식).

「약 30% 많다」라는 표현이 유통되고 있지만, 공식 기술은 1.0~1.35배 범위이므로 엄밀히 말하면 「최대 약 35%」가 더 정확하다. 게다가 증가 폭은 워크로드(Workload)의 성격에 따라 달라진다.

그리고 중요한 것은, **Anthropic이 도입 가격($2/

6. Gemini 3.5 Pro — 아직 아무것도 확정되지 않았다

7월 17일 출시, 2M 컨텍스트, Deep Think 추론 레이어, $1.25/$10, 「2.5 Pro의 아키텍처를 버리고 완전히 새로 만듦」——이러한 정보가 널리 유통되고 있다.

7월 16일 시점에서, 그 어느 것도 공식 발표가 아니다.

blog.google · deepmind.google · gemini.google을 검색한 범위 내에서, Gemini 3.5 Pro의 정식 발표 페이지는 존재하지 않는다. 보도 매체들 스스로도 「every spec remains unconfirmed (모든 사양이 미확인 상태로 남아 있다)」라고 명시하고 있는 상태다 (TechTimes). 「Gemini 4 Flash」에 이르러서는 명칭 자체를 공식 소스에서 찾아볼 수 없다.

Google 측에서 7월에 확인된 1차 정보는 다른 곳에 있다. 바로 AlphaEvolve의 일반 제공 (7월 10일, Google Cloud 공식 블로그)이다. Gemini Enterprise Agent Platform을 통해 모든 Google Cloud 고객에게 제공된다.

기술적인 실체는 Gemini를 기반으로 한 진화적 알고리즘 최적화 에이전트(Evolutionary Algorithm Optimization Agent)다. 사용자가 (1) Seed program (최적화 대상인 베이스 코드)과 (2) Evaluator (결정론적인 채점 스크립트)를 전달하면, 에이전트가 코드의 변이체를 자동으로 생성 및 탐색하여 인간이 읽을 수 있는 최적화 코드를 반환한다. Define→Measure→Optimize→Apply의 4단계로 진행되며, BASF, JetBrains, Kinaxis 등이 조기에 채택하고 있다.

이는 눈에 띄지는 않지만, **"결정론적인 평가 함수(Deterministic Evaluation Function)만 작성할 수 있다면, 나머지는 LLM이 탐색한다"**라는 형식으로, 벤치마크 불신에 관한 이야기와는 정반대 방향의 접근이다. 평가를 스스로 정의하는 쪽으로 넘어가고 있는 것이다.

7. 독창적인 시점 — 왜 나란히 비교할 수 없는가

여기서부터가 본론이다. 7월의 신규 모델군 수치를 수집하면서 떠오른 4가지 구조적인 문제를 다룬다.

(1) "91.9%"는 무엇을 의미하는 수치인가 — 구성이 다른 것들이 같은 표에 올라와 있다

Terminal-Bench 2.1의 스코어를 유통되는 대로 나열하면 다음과 같다.

출처: 91.9%는 OpenAI 공식 X 게시물. 84.3 / 83.4 / 83.3 / 78.9는 the-decoder.com. 80.0은 officechai.com

한 줄로 나열되어 있지만, 측정하고 있는 대상이 일치하지 않는다. Sol의 SOTA(State-of-the-Art) 값은 서브 에이전트를 구동하여 계산 자원을 추가로 투입한 구성의 결과다. Fable 5와 Opus 4.8은 max effort, GPT-5.5는 xhigh이다. Grok 4.5와 Muse Spark 1.1에 이르러서는 구성에 대한 기재조차 없다.

애초에 이 표는 하나의 소스에서 가져온 것조차 아니다. 3개의 서로 다른 기사에서 수치를 뽑아 나열한 것이다. 각 기업이 자사에 유리한 구성으로 발표한 수치를 제삼자가 나란히 재배치한 것이 "벤치마크 비교표"로서 유통되고 있는 것이 실태에 가깝다.

참고로, Sol의 Ultra mode가 아닌 표준 구성의 스코어로 88.8%라는 수치도 유통되고 있으나, 이 기사에서는 출처를 특정할 수 없었다. 확인된 것은 "91.9%가 Ultra mode의 값이다"라는 점까지다.

설정 차이가 어느 정도 영향을 미치는지는 제삼자 검증 기관인 ARC Prize의 측정을 참고할 수 있다. ARC-AGI-3에서 Sol의 스코어는 low effort에서 0.3%, max effort에서 7.78% (Semi-Private)까지 움직였다 (arcprize.org). ARC-AGI는 퍼즐 계열로서 분산이 큰 벤치마크로 알려져 있으므로, 이 효과량이 그대로 Terminal-Bench에 적용된다고 단정할 수는 없다. 하지만 동일한 모델이라도 설정에 따라 스코어가 변한다는 사실 자체는, 위 표의 몇 포인트 차이를 읽어낼 때 무시할 수 없는 요소다.

"91.9% > 83.3%이므로 Sol이 더 우위에 있다"——이 해석이 성립하려면 양측이 동일한 구성으로 측정되었어야 한다. 그렇지 않다.

게다가 지난 기사에서 언급했듯이, Fable 5의 Humanity's Last Exam 53%라는 스코어는 8~9%의 태스크에서 세이프가드(Safeguard)가 작동하여 Opus 4.8로 폴백(Fallback)된 상태에서의 측정이었다. 애초에 모든 문제를 동일한 모델이 풀지 않은 경우까지 있다.

벤치마크 표는 "동일한 시험을 동일한 조건에서 치른 결과"라는 전제로 읽히지만, 그 전제는 이미 무너져 있다.

(2) 토크나이저(Tokenizer)가 다르면 $/token은 비교할 수 없다 — Sonnet 5의 "비용 중립"이 시사하는 바

가격표도 동일한 문제를 안고 있다. $/1M tokens라는 단위는 토큰의 정의가 각 기업별로 일치할 때에만 비교 가능하다. 그리고 일치하지 않는다.

Anthropic의 공식 기술 문서가 이를 명시적으로 인정하고 있다. Sonnet 5의 새로운 토크나이저 (Tokenizer)에서는 동일한 입력이 1.0~1.35배의 토큰으로 매핑되며, 그렇기 때문에 도입 가격을 그 증가분을 상쇄하는 "비용 중립 (Cost-neutral)"으로 설정했다는 것이 공식 설명이다 (Anthropic 공식).

이는 뒤집어 말하면, 단가를 유지한 채 토크나이저를 바꾸면 실질적인 가격 인상이 가격표에 나타나지 않는다는 뜻이기도 하다. Anthropic은 이를 피하기 위해 단가 측면에서 조정했다고 명언했으며, 이는 정직한 대응이라고 생각되지만, 동시에 "$/token은 액면 그대로 읽을 수 없다"는 점을 공식이 인정한 셈이 된다.

이 관점에서 7월의 가격표를 보면 인상이 달라진다.

숫자의 높고 낮음은 읽을 수 있다. 하지만 "Grok 4.5는 Opus 4.8의 1/4 출력 단가"라고 말할 때, 동일한 작업에 몇 토큰을 사용하는지가 일치하지 않는다면 이 비율은 의미를 갖지 못한다. 그리고 제3장에서 기술했듯이, 그 "몇 토큰을 사용하는가"에 대한 공개 데이터는 찾을 수 없다.

더 이해하기 쉬운 예를 들어보겠다. Claude Sonnet 4.6과 Claude Sonnet 5는 표준 가격이 둘 다 $3/$15로 동일하다 (모델 사양 목록). 가격표상으로는 "동결"된 것처럼 보인다. 하지만 Sonnet 5는 새로운 토크나이저를 사용하기 때문에, 동일한 입력이 최대 1.35배의 토큰이 된다. 액면가가 같더라도 동일한 작업의 비용은 같지 않다. Anthropic이 도입 가격을 비용 중립이라고 설명한 것은 바로 이 격차를 메우기 위함이다.

즉, 단가표는 입구 정보에 불과하며, "단가 × 해당 모델이 실제로 소비하는 토큰 수"로만 비교할 수 있다. 지난 Fable 5 기사에서도 "단가 2배는 비싼 것인가"라는 논점을 다루었지만, 7월의 상황은 이를 더욱 까다롭게 만들고 있다. 토크나이저가 세대마다 바뀌기 때문에, 동일한 벤더 (Vendor) 내에서조차 세대 간의 $/token을 비교할 수 없기 때문이다.

(3) 모델 카드 (Model Card)가 사라진 주 — 검증 가능성이라는 토대

7월 신규 모델 3종의 "검증 가능성"을 정리하면 다음과 같다.

세 업체 모두 외부에서 숫자를 검증할 수 있는 경로가 좁아져 있다.

Grok 4.5의 사례가 상징적이다. 모델 카드가 없는 상태에서 "Opus급", "1.5조 파라미터 MoE"라고 주장하며, 파라미터 수에 대한 독립적인 감사가 존재하지 않는다. 여기에 CursorBench 오염(Contamination) 이야기가 얹어진다. 반복하겠지만, 오염 사실을 공개한 것은 파트너사인 Cursor사였으며, 심지어 각주로 처리되었고, 해당 벤치마크는 조용히 출시 목록에서 사라졌다.

Meta의 사례도 다른 방향으로 까다롭다. 공식 블로그는 있다. 하지만 벤치마크 수치가 단 한 줄도 없다. 비교 재료를 내놓지 않음으로써 비교당하는 것을 회피하고 있다고도 읽을 수 있다. 실제로 제3자 측정 결과에 따르면 DeepSWE 1.1과 같은 코딩 계열에서는 3개 모델 중 최하위에 머물러 있는데, 유리한 축만 골라서 내놓느니 차라리 아무것도 내놓지 않겠다는 판단에는 일정 부분 합리성이 있다.

그리고 이것들은 모두 클로즈드 웨이트 (Closed Weight) 모델이다. Meta가 오픈 웨이트 (Open Weight) 노선에서 전환함에 따라, 7월의 신규 모델 중에는 수중에 두고 검증할 수 있는 것이 단 하나도 없다.

지난 Fable 5 기사에서 "세이프가드 (Safeguard)의 투명성 디자인" — 능력을 떨어뜨리는 것 자체가 문제가 아니라, 능력을 떨어뜨린 것을 숨기는 것이 신뢰를 해친다는 — 이야기를 썼다. 동일한 구도가 측정 측면에서도 나타나고 있다. 낮은 점수를 내는 것이 문제가 아니라, 어떻게 측정했는지를 밝히지 않는 것이 문제다.

(4) "코딩"과 "도구 활용"에서 순위가 반전된다

제4장의 표를 순위 형태로 다시 써보겠다. 동일한 3개 모델이다.

깔끔한 역순이다. 1위와 3위가 뒤바뀌었고, 중간의 Opus 4.8만 움직이지 않았다. 게다가 근소한 차이도 아니다. JobBench에서 Muse Spark와 GPT-5.5의 차이는 16.4포인트, DeepSWE에서의 차이는 13.7포인트다.

이것은 측정 오차가 아니라, 축이 다르면 순위가 바뀐다는 이야기다. "에이전틱 모델 (agentic model)"을 표방하는 모델이 업무 도구 활용에서는 1위를 차지하면서도 자율 코딩에서는 최하위에 머물고 있다. Muse Spark의 컴퓨터 사용 (computer use) 능력이 "스크립트를 작성할지 클릭할지를 구분하여 사용하는" 설계라는 점도 이러한 방향성과 일치한다. 도구를 호출하는 능력과 코드를 끝까지 작성하는 능력은 각각 별도로 최적화될 수 있으며, 별도로 저하될 수도 있다.

단, 주의가 필요하다. 이것은 1개 모델에 대한 2개 벤치마크의 사례일 뿐, 업계 전체의 구조적 변화를 증명하는 것은 아니다. "모델의 능력이 하나의 축에서 분기되고 있다"는 해석은 현시점에서는 가설의 범주를 벗어나지 않는다. 게다가 이 점수들은 2차 정보이다 (Meta는 공식적으로 수치를 발표하지 않았다). 정확도가 높지는 않다.

그럼에도 실무적인 함의는 찾아낼 수 있다. "종합 최강 모델"을 하나만 골라 모든 곳에 사용하는 운영 방식은, 적어도 이 3개 모델에 관해서는 최적이 아니다. 자신의 워크로드 (workload)가 도구 활용에 가까운지 혹은 코딩에 가까운지에 따라 선택해야 할 모델이 달라진다. 종합 1위가 자신의 태스크 (task)에서는 3위가 되는 현상은 실제로 일어나고 있다.