DJ 미오:

안녕하세요. 「Midnight AI Groove」의 내비게이터 DJ 미오입니다.

DJ 렌:

그리고 저는 DJ 렌입니다. 오늘 밤은 겉보기에는 「not much happened today」, 즉 「오늘은 별일 없었다」라는 분위기의 하루를 오히려 세밀하게 파헤쳐 보려고 합니다.

DJ 미오:

맞아요. 실제로는 꽤 많은 일들이 일어나고 있었고, 특히 중심에 있었던 것이 Anthropic의 Claude Sonnet 5 출시였습니다. 하지만 그뿐만 아니라 주변에는 Fable 5를 둘러싼 루머, Linux 버전 Claude Desktop, Managed Agents의 업데이트, 가격과 실효 비용에 대한 논의, 중국계 모델과 추론 기반의 진전, 하드웨어, 에이전트 평가, 로컬 LLM 커뮤니티의 열기까지, 얼핏 보면 흩어져 있는 것 같지만 사실은 하나의 선으로 연결되어 있었습니다.

DJ 렌:

오늘 밤은 그것을 단순한 뉴스 나열이 아니라, 「지금 AI 업계가 무엇을 가치 있게 보고 있는가」라는 관점에서 정리해 나가겠습니다.

DJ 렌:

먼저 가장 큰 화제입니다. Anthropic이 Claude Sonnet 5를 발표했습니다. 포지셔닝 측면에서는 **새로운 표준인 중위 프론티어 모델 (Frontier Model)**입니다. 게다가 출시와 동시에 Claude 본체, Claude Code, API, 그리고 각종 에코시스템 파트너 제품에 일제히 전개되었습니다.

DJ 미오:

Anthropic 스스로의 표현을 빌리자면, Sonnet 5는 “our most agentic Sonnet yet”, 즉 「지금까지 중 가장 에이전트적인 (agentic) Sonnet」입니다.

여기서 말하는 “agentic”은 단순히 대화가 능숙하다는 뜻이 아니라, 계획을 세우고, 브라우저나 터미널을 사용하며, 도구(Tool)를 가로질러 자율적으로 태스크를 수행하는 성질을 가리킵니다.

DJ 렌:

게다가 Anthropic은 그러한 자율 실행 수준이 조금 전까지만 해도 더 대형이고 고가인 모델이 필요했던 수준이라고 강조하고 있습니다. 요컨대, 지금까지 상위 모델에서만 가능했던 작업을 Sonnet 급의 가격으로 제공하고 싶다는 메시지죠.

DJ 미오:

개발자용 계정 설명에서도 핵심은 상당히 명확했습니다.

코딩 성능
도구 사용 성능
1M 토큰의 컨텍스트 윈도우 (Context Window)
Sonnet 가격대로 제공

그리고 **Claude Code Pro에서는 새로운 기본 모델 (Default Model)**이 되었다는 점입니다.

DJ 렌:

가격 면에서는 표준 리스트 가격이

입력 $3 / 100만 토큰
출력 $15 / 100만 토큰

입니다.

DJ 미오:

다만, 기간 한정 프로모션 가격도 나와 있습니다.

입력 $2 / 100만 토큰
출력 $10 / 100만 토큰

기간 표기는 게시물에 따라 8월 31일까지 혹은 9월 1일까지로 약간의 차이가 있습니다.

DJ 렌:

이 시점만 보면 「고성능인데 상당히 저렴하다」는 인상을 갖기 쉽지만, 이번 논의에서 흥미로웠던 점은 정말로 주목해야 할 것은 “토큰 단가”가 아니라 “태스크 완료당 실효 비용”이다라는 이야기가 상당히 강력하게 나왔다는 것입니다.

DJ 미오:

여기서 중요한 것은 Sonnet 5 단독의 성능뿐만 아니라, 그 이전에 어떤 기대가 형성되어 있었는가 하는 점입니다.

DJ 렌:

맞아요. 출시 전에는 꽤 큰 루머의 사이클이 있었습니다. 중심에 있었던 것은 Sonnet 5 + Fable 5라는 조합에 대한 관측이었습니다.

DJ 미오:

앱 내 문자열 분석을 통해, Anthropic이 “Fable 5”를 기존 플랜과는 다른 이용 크레딧제로 출시하는 것이 아니냐는 이야기, 게다가 근처에 **본인 확인 (ID verification)**을 시사하는 문구가 있었다는 이야기가 퍼지고 있었습니다.

DJ 렌:

그로 인해 단숨에 「Fable 5는 기존 플랜 외의 서비스이며, 본인 확인이 필요하고, 지역 제한이 있으며, 더 엄격하게 통제된 형태로 제공될 것」이라는 견해가 강해졌습니다. 특히 유럽 등 지역 액세스 제한을 걱정하는 목소리가 나오고 있었던 것이죠.

DJ 미오:

그 결과, 사용자 일부는 **“Sonnet 5는 널리 쓸 수 있지만 약한 파트너이고, 진짜 주인공은 Fable 5”**와 같은 구도를 상정하고 있었습니다.

그래서 실제 발표에서 Fable 5에 관한 본격적인 뉴스가 나오지 않았다는 점이, 오히려 가장 큰 “비뉴스(non-news)”로 받아들여진 것이죠.

DJ 렌:

「결국 Fable이 아니라 Sonnet 5였다」, 「Fable 5가 BAN된 지 18일이 지났다」와 같은 반응이 상징적이었습니다. 즉, Sonnet 5의 내용 그 자체에 대한 평가 이전에, 기대 관리(expectation management)에 실패한 상태로 발표일을 맞이했다는 측면이 있습니다.

DJ 미오:

게다가 이번 릴리스는 단순한 「신규 모델 1개」가 아니더라고요.

DJ 렌:

맞습니다. Anthropic은 동시에 Linux용 Claude Desktop 베타를 출시했습니다. 대상은 Ubuntu / Debian입니다. 유료 플랜에서 Claude Code, Claude Cowork, Chat을 이용할 수 있습니다. 다만 Computer Use는 Linux 버전에는 아직 포함되어 있지 않습니다.

DJ 미오:

여기에 Managed Agents의 업데이트도 상당히 충실했습니다.

• 세션 차분(session diff) 스트리밍
• 세션별 오버라이드(override)
• webhook 이벤트
• 역방향 페이지네이션(reverse pagination)
• 자격 증명 주입(credential injection)의 스코프 제어
• 토큰 수나 도구 사용량을 확인할 수 있는 observability 탭

DJ 렌:

이거 굉장히 중요합니다. 즉 Sonnet 5의 발표는 「모델 성능이 올라갔습니다」뿐만 아니라, 에이전트(agent)를 실무 환경(production)에서 운용하기 위한 기반 정비와 세트로 구성되어 있습니다.

말하자면, Anthropic은 「챗봇의 화려한 데모」가 아니라, **프로덕션 환경에서 돌아가는 에이전트의 기본 워크호스(default workhorse)**를 팔러 온 것입니다.

DJ 미오:

여기서부터는 Anthropic 측의 주장과 외부의 반응을 나누어서 살펴보겠습니다.

DJ 렌:

공식적인 주장은 일관적입니다.

가장 에이전트적인 (most agentic) Sonnet / 코딩 및 도구 사용에서 탑 클래스 / 1M 컨텍스트 / Sonnet 가격대 / 광범위한 플랫폼 전개

DJ 미오:

그에 더해, 안전성 측면에서는 Sonnet 4.6보다 전체적으로 안전하며, 환각(hallucination)이나 아첨(sycophancy)이 줄어들었고, 사이버 분야의 안전책이 기본적으로 활성화되어 있다는 설명도 나오고 있습니다.

다만 동시에, 본격적인 사이버 용도에서는 Opus가 아직 더 강력하다는 정리도 이루어졌습니다.

DJ 렌:

또한 개발자들을 위해 마이그레이션 도구와 문서도 준비되어 있으며, claude-api skill을 통해 프롬프트 조정, 노력 수준(effort level) 권장, 어드바이저 모드(advisor mode) 설정 등이 가능하다는 안내도 있었습니다.

DJ 미오:

반면, 제삼자의 시각은 조금 복잡합니다. 많은 이들이 **“Sonnet 4.6부터 확실히 좋아졌다”**는 점은 인정하고 있습니다. 하지만 동시에,

정말로 “5.0”이라고 부를 만한 세대적 도약인가 / 실효 비용은 정말로 좋은가 / Opus나 경쟁 모델과 비교하면 어떤가

라는 점에서는 의견이 갈렸습니다.

DJ 렌:

구체적인 평가를 살펴보겠습니다.

DJ 미오:

먼저 CursorBench에서는 Sonnet 5가 57%, Sonnet 4.6이 **49%**를 기록했습니다. 이는 상당히 명확한 개선입니다.

DJ 렌:

Cognition은 자사의 FrontierCode Extended에서 Sonnet 5가 **53.8% 스코어, 57.6% 패스율(pass rate)**을 기록했다고 보고했으며, 현재 평가로는 Opus 4.8을 상회한다고 밝혔습니다.

다만 그들 스스로도 향후 평가 체계의 조정에 따라 순위가 다소 변동될 수 있다는 여지를 남겨두었습니다.

DJ 미오:

Artificial Analysis Intelligence Index에서 Sonnet 5는 53을 기록했습니다. 이는 Sonnet 4.6에서 +6 개선된 수치로, 전체 순위로는 5위이며, GPT-5.5 high reasoning과 거의 비슷한 수준입니다.

다만, Opus 4.7 / 4.8의 뒤에 위치하고 있습니다.

DJ 렌:

그 외에도 여러 개선 사항이 보고되고 있습니다.

• Terminal-Bench v2.1에서 +9 -
  Humanity’s Last Exam에서 +10 -
  SciCode에서 +7 -
  CritPt frontier physics benchmark에서는 17%. 이전 모델보다 +14포인트 상승했지만, GLM-5.2, Claude Opus, Fable, GPT-5.5 계열에는 아직 미치지 못함

DJ 미오:

즉, 요약하자면 **“4.6으로부터의 개선은 실재하며, 그것도 상당히 의미 있는 개선”**이다. 하지만 “프론티어(Frontier) 전체를 새로 쓰는 수준의 폭발적인 진보”는 아니다. 이 점이 이번 온도 차의 핵심이네요.

DJ 렌:

이번에 가장 기술적으로 타당한 비판은 바로 이 비용 대비 작업(Cost per Task) 문제였습니다.

DJ 미오:

Artificial Analysis의 보고에 따르면, Sonnet 5는 **평균적으로 1개 태스크당 약 69k 출력 토큰(Output Token)**을 사용하고 있으며, 이는 Sonnet 4.6보다 약 40% 더 많은 수치입니다.

DJ 렌:

그 결과, 표준 가격으로 환산한 Intelligence Index의 1개 태스크당 비용은 $2.29입니다. 이것이

Sonnet 4.6의 약 2배-
Opus 4.8보다 약 15% 높은

결과로 나타나고 있습니다.

즉, 토큰 단가는 저렴하지만, 말을 많이 하고 많은 단계를 거치기 때문에 실제 작업에서는 비용이 더 많이 들 수 있다는 뜻입니다.

DJ 미오:

게다가 Artificial Analysis는 Sonnet 5가 AA-Briefcase나 GDPval-AA에서 Sonnet 4.6보다 약 3배 많은 에이전트 턴(Agentic Turn) 수를 사용했다고 보고했습니다. 심지어 최대 노력(Max effort) 모드는 낮은 노력(Low effort) 모드보다 약 6배 많은 턴 수를 사용하는 경우도 있습니다.

DJ 렌:

여기서 나오는 이야기가, ‘에이전트 성능이 높다’는 것과 ‘효율이 좋다’는 것은 같지 않다는 점입니다.

자율적으로 시행착오를 거쳐 최종적으로 좋은 결과를 내는 모델이라 하더라도, 그 과정에서 장문·다회차 대화(Multi-turn)·다량의 토큰을 소비하게 되면 실제 운용 비용은 올라가게 됩니다.

DJ 미오:

여기에 더해 간과하기 쉬운 기술적 포인트가 바로 **토크나이저 (Tokenizer)**입니다.

DJ 렌:

Simon Willison의 지적에 따르면, 새로운 토크나이저의 영향으로 Sonnet 5는

영어로는 약 1.4배 더 비싸지고, 스페인어로는 약 1.33배-
간체 중국어로는 거의 비슷한 수준

이라는 견해가 나오고 있습니다.

DJ 미오:

이것도 중요하죠. 사용자는 무심코 리스트 가격만 보고 “싸다”고 생각하기 쉽지만, 실제로는 텍스트가 어떻게 분할되어 토큰화되는가에 따라 청구 금액에 대한 체감이 달라집니다.

그래서 평가자나 파워 유저들은 **“1토큰당 얼마인가”가 아니라 “하나의 업무를 끝내는 데 얼마가 드는가”**를 보게 되는 것입니다.

DJ 렌:

여기서 한 번 정리해 봅시다. 이번 화제는 사실과 의견, 그리고 루머가 상당히 섞이기 쉽습니다.

DJ 미오:

사실로서 짚고 넘어가도 좋은 점은,

Sonnet 5가 정식 출시되었다는 것Claude, Claude Code, API, Managed Agents, 각종 파트너 제품에서 이용 가능하다는 것1M 토큰의 컨텍스트 윈도우(Context Window)표준 가격 $3/$15, 기간 한정 $2/$10제3자 평가에서도 Sonnet 4.6으로부터 유의미한 개선이 확인된다는 것****단, 실효 비용은 Opus 4.8보다 높아질 수 있다는 점

DJ 렌:

반면,

Fable 5의 과금 방식 변경본인 인증 필수규제 및 수출 관리와 결부된 지역 제한-
Sonnet 5의 사전 유출 정보로서의 지식 컷오프(Knowledge Cutoff) 2026년 1월설

이러한 것들은 앱 문자열의 해석이나 사용자 추측이 많으며, 공식 발표로 확정된 것은 아닙니다.

DJ 미오:

더 나아가,

의도적으로 성능을 낮췄다****Opus를 넘지 않도록 자기 증류(Self-distillation)했다-
프론티어 능력이 “금지”되었기 때문에 나온 대체 모델이다

이 부분은 증거가 있는 사실이라기보다 해석 및 추측의 영역에 속합니다.

DJ 렌:

지지파의 주장은 상당히 실무적입니다.

**장시간 구동되는 에이전트****코딩 루프(Coding loop)**도구의 신뢰성-
병렬 워크플로우(Parallel workflow)

이런 영역에서는, 규모가 작고 저렴하며 폭넓게 사용할 수 있는 모델이 강해지는 것이 큰 의미가 있다고 보고 있습니다.

DJ 미오:

특히 "저렴한 기본 계층 (default layer)의 강화"를 높게 평가하는 목소리가 있었습니다.

최상위 모델만 강력해서는 실제 업무에서 여러 에이전트 (agent)를 병렬로 돌리기에 비용 부담이 큽니다. 따라서 "조금 저렴한 모델이 상당히 똑똑해지는 것"의 가치는, 화려한 벤치마크 (benchmark) 이상의 의미가 있다는 생각이죠.

DJ 렌：

게다가 Cursor나 Cognition의 코딩 계열 벤치마크 결과, Cline이 강조한 프롬프트 인젝션 (prompt injection) 및 하이재킹 (hijacking) 내성 개선도 에이전트 운용에서는 상당히 중요합니다.

DJ 미오：

비판의 축은 크게 세 가지입니다.

명명 (naming) / Fable 5의 부재에 대한 실망 / 태스크 (task) 단위의 비용 효율성 저하

DJ 렌：

명명 비판은 이해하기 쉽네요. "Sonnet 5"라고 이름을 붙였다면 대폭적인 세대 진화를 연상하게 되는데, 실체는 4.8이나 4.9에 가까운 것이 아니냐는 것이죠.

DJ 미오：

또한, "넓은 지능 지표에서는 아직 Opus 4.8에 미치지 못한다", "모든 평가에서 앞서고 있는 것은 아니다"라는 비판도 있습니다.

더불어, 장황함 (verbosity)과 턴 (turn) 수의 증가 때문에, 현실적으로는 Opus나 경우에 따라서는 Fable보다 비용이 더 많이 든다는 점이 가장 현실적인 부정적 의견이었습니다.

DJ 렌：

중립파의 의견을 요약하자면,

"프로덕션 (production) 환경에 있는 사람들은 기뻐한다. 하지만 개인적인 '와!' 하는 느낌은 약하다"

라고 할 수 있겠네요.

DJ 미오：

기대치 설정이 잘못되었을 뿐, 제품 자체는 좋다는 관점도 많았습니다.

그리고 "장기 태스크에서의 'working mind', 즉 작업 중 사고의 지속성 같은 것은 기존 벤치마크에서 과소평가되고 있는 것이 아니냐"라는 의견이 있었다는 점도 흥미롭습니다.

DJ 렌：

이번에 상당히 인상적이었던 것은 Sonnet 5의 주변 도구 채택 속도입니다.

DJ 미오：

정말 빨랐죠.

Cursor가 대응하며 CursorBench 차이 공개 -
Devin Desktop / CLI가 추가되어 FrontierCode Extended에서 Opus를 넘어섰다고 주장 -
Cline이 대응하며 Terminal-Bench 및 사이버 내성 강조 -
FactoryAI Droid가 8월 말까지 1/3 할인 -
Perplexity가 Pro/Max 및 Computer orchestrator로 추가 -
VS Code / @code에서도 전개 -
Agent Arena에도 추가

DJ 렌：

이 패턴은 Sonnet 5가 "채팅의 화제성"보다는 "소프트웨어 에이전트 기반의 실용품"으로 간주되고 있다는 증거입니다.

DJ 미오：

시장이 "이것을 기본 워크호스 (workhorse)로 삼고 싶다"라고 판단하고 있다는 뜻입니다.

DJ 렌：

지금까지의 이야기를 정리하자면, Sonnet 5에 대해 반응이 갈린 이유는 바라보는 관점이 사람마다 다르기 때문입니다.

DJ 미오：

정리하자면,

Sonnet 4.6과의 절대적 비교에서는 명확히 개선 -
Opus나 Fable를 포함한 프론티어 (frontier) 기대치에서는 실망 -
**리스트 가격 (list price)**만 보면 저렴함 -
태스크 단위의 실효 비용 측면에서는 비싸게 느껴지는 경우가 있음 -
에코시스템 (ecosystem)에서의 유용성은 매우 높음

DJ 렌：

그리고 그 이면에는 시장 전체의 가치 기준 변화가 있습니다.

지금의 경쟁 축은 단순히 채팅이 똑똑한가가 아니라,

장시간의 도구 사용 / 에이전트의 신뢰성 / 토큰 (token) 효율성 / 완료된 태스크당 비용 / 업무 환경으로의 통합

이 되어가고 있습니다.

DJ 미오：

여기서부터는 Sonnet 이외의 화제도 다뤄보겠습니다. 사실 상당히 컸던 것이 중국계 모델과 인프라의 존재감입니다.

DJ 렌：

특히 주목받은 것이 Meituan에 의한 1.6조 파라미터 오픈 웨이트 (open-weights) 모델입니다.

대형 중국 배달 기업이 이 정도 규모의 모델을 내놓았다는 사실 그 자체가, "누가 프론티어급 연구를 자금 면에서 뒷받침할 수 있는가"라는 이야기로 이어지고 있습니다.

DJ 미오：

기술적인 논점으로는, CloudMatrix 384 pods를 "910B mode"로 사용했다는 이야기가 나오고 있는데, 이것이 GPU 환산 5만 장이 아니라 약 2.5만 칩 규모가 아니냐는 식의 분석도 있었습니다.

한편 비판적인 시각으로는, 향후 Huawei 950DT SuperPod의 8192 칩 구성이 전체적으로 그것을 넘어설 것이라는 비교 분석도 있었습니다.

DJ 렌:

나아가 DSpark / DeepSeek 계열의 인프라도 지속적으로 화제가 되고 있습니다.

TPOT 2.9–5.2 ms: 중국계 프로바이더에서 50%의 처리량 (Throughput) 향상, 혹은 60%의 상호작용성 (Interactivity) 향상 가능성-
DeepSeek의 인프라 공개가 경제적 파급 효과를 일으키고 있다

라는 이야기가 나오고 있습니다.

DJ 미오:

Huawei나 Pangu의 기세도 이어지고 있습니다.

Pangu 92B / 6B active의 MoE 및 7월 예정된 더 큰 규모의 Pro 버전에 대한 이야기가 있으며, 중국 국내 하드웨어 상에서 준 프론티어급 (quasi-frontier) 모델을 학습할 수 있는 소프트웨어 아키텍처 (Software Architecture) 성숙도가 갖춰진 것이 아니냐는 견해도 있었습니다.

DJ 렌:

하드웨어에서는 Etched의 동향이 눈에 띄었습니다.

해당 기업은

8억 달러 조달10억 달러 이상의 고객 계약A0 테이프아웃 (Tapeout) 성공****고객 테스트에서 조기 SOTA급의 처리량 (Throughput) / 레이턴시 (Latency) / 전력 효율 달성-
이번 여름부터 초기 랙 (Rack) 출하

를 주장하고 있습니다.

DJ 미오:

여기서 주목받은 아이디어는 두 가지입니다.

저전압 추론을 통해 장시간 부하 시의 써멀 스로틀링 (Thermal Throttling)을 방지하는 것-
SRAM 수준의 액세스감을 목표로 하는 클러스터 규모의 메모리

후자는 특히 긴 컨텍스트 (Long Context)나 거대 모델 추론에 효과적일 가능성이 있습니다.

DJ 렌:

OpenAI에 대해서는, 추론 비용을 절반 이상 절감하는 최적화를 찾아냈다는 보도도 있었습니다.

로그아웃 상태의 ChatGPT 트래픽이 일시적으로 “수백 개의 GPU” 규모까지 떨어졌다는 이야기도 있어, 정확한 수법은 불분명하지만 이익률이나 API 가격 전략에 직결되는 이야기로서 주목받았습니다.

DJ 미오:

그리고 상당히 기술적인 이야기로서, Volta에서 Blackwell에 이르는 NVIDIA 프로그래밍 모델의 진화를 해설하는 포스트도 주목받았습니다.

동기적이고 스레드 중심인 CUDA에서, 비동기 데이터 플로우 (Asynchronous Dataflow), Tensor Core, 메모리 엔진, barrier, TMA/TMEM 등을 사용하는 세계로 이동하고 있으며, V100, A100, H100, B100의 연산/대역폭 비의 변천사와 FlashAttention-3, FlashMLA의 사례까지 포함하여 정리되어 있었습니다.

DJ 렌:

AI Engineer World Fair 주변에서 강력하게 공유되었던 키워드는 loops, 혹은 loop engineering입니다.

DJ 미오:

Andrew Ng도 AI 네이티브 제품 개발의 실운용 모델로서,

• 에이전트적 코딩
• 개발자로부터의 피드백
• 외부 세계로부터의 피드백

라는 **루프 구조 (Loop Structure)**를 강조했었죠.

DJ 렌:

이 용어는 컨퍼런스 전체에서도 반복적으로 등장했으며, OpenAI나 Microsoft의 연사, Peter Steinberger 주변에서도 사용되었습니다.

요컨대,

DJ 렌:

GLM-5.2는 몇몇 지능 및 엔터프라이즈 벤치마크(Benchmark)에서 최강의 오픈 모델(Open Model) 중 하나로 반복해서 언급되었습니다.

다만 비판적인 측면으로는, 장황하여(Verbose) 출력 토큰이 많다는 점도 지적되었습니다.

DJ 미오:

Microsoft가 **4B 규모의 GUI 에이전트(Agent)**를 출시했다는 이야기도 있었는데, 어떤 요약에서는 태스크 성공률이 39.8%에서 82.9%로 향상되었다고 했지만, 원문 트윗에는 충분한 소스 상세 정보가 없으므로 이 점은 신중하게 살펴볼 필요가 있습니다.

DJ 렌:

OpenAI는 GeneBench-Pro를 도입했습니다. 이는 단순한 생물학 QA가 아니라, 계산 생물학 에이전트(Computational Biology Agent)의 실제 작업을 측정하는 방향의 벤치마크입니다.

나아가 OpenAI 개발자들로부터는, 1년이 걸린 인프라 크래시(Infrastructure Crash) 조사 디버깅 기록도 공개되었습니다.

DJ 미오:

로컬 AI 및 오픈 계열에서는, Hugging Face가 **하드웨어 필터(Hardware Filter)**를 추가한 것이 은근히 큰 변화였습니다.

GPU, CPU, Apple Silicon 호환성에 따라 모델을 검색하기 쉬워져서, 로컬 모델 이용의 실용성이 높아졌다고 평가받았습니다.

DJ 렌:

그리고 로컬 모델은 플랫폼 규제나 본인 확인에 대한 내성이 된다는 맥락에서도 이야기가 나왔었죠.

즉, 상용 폐쇄형 서비스가 ID 제한이나 지역 제한을 강화할수록, “자신의 손안에서 직접 구동할 수 있다는 것”의 전략적 가치가 높아진다는 의미입니다.

DJ 미오:

새로운 오픈 벤치마크나 도구로는 다음과 같은 것들이 언급되었습니다.

IFStruct: 출력 타당성 / 스키마 준수
CS2-10k: 60만 개 이상의 1인칭 게임 플레이 영상, 1만 시간 초과, 월드 모델(World Model) 및 행동 조건부 생성용
Buckets S3 API: Hugging Face 스토리지 호환성

DJ 렌:

교육 콘텐츠 중에서는 Sebastian Raschka의 **“Build a Reasoning Model (From Scratch)”**가 상당히 화제였습니다.

440페이지 분량의 풀 컬러 도서로, 추론 시 스케일링(Inference-time Scaling), 강화학습(RL), 증류(Distillation)를 다루는 내용입니다.

DJ 미오:

여기서부터는 Reddit 요약입니다. 우선 /r/LocalLlama와 /r/localLLM입니다.

DJ 렌:

가장 큰 화제는 LongCat-2.0입니다.

총 파라미터 1.6T / 1 토큰당 약 48B Active / OpenRouter에서 “owl-alpha”로 등장했던 스텔스 모델 / 35T 이상의 토큰으로 학습 / 그중에는 수천억 규모의 1M 컨텍스트 학습 데이터 포함 / AI ASIC superpods에서 훈련 및 배포된 것으로 알려짐

DJ 미오:

기술적으로는 다음과 같은 점들이 주목받았습니다.

LongCat Sparse Attention (LSA)
3-step MTP를 통한 Speculative Decoding
6D Parallelism / CP Scaling
KV-cache Sharding
135B 규모의 5-gram Embedding Module

DJ 렌:

그리고 흥미로운 점은 저자 측의 주장으로서, MoE 희소성(Sparsity)이 이미 약 97%에 달해, 여기서 전문가(Expert) 파라미터를 더 늘려도 효과가 미미할 것이라는 이야기입니다.

이는

그 이유로는, 혼합 정밀도 (Mixed Precision), 스케일 (Scale) 및 메타데이터의 오버헤드, 전부가 순수 4-bit가 아닐 가능성, 그리고 F8_E4M3라는 FP8 형식 등이 화제가 되었습니다.

DJ 렌:

사용자의 관심은 결국

• 32GB VRAM에서 실용적인가
• Unsloth 버전보다 정말 좋은가
• MTP 대응이 있는가
• GGUF로 변환되는가

이 정도였습니다.

DJ 미오:

Huawei도 OpenPangu-2.0-Flash를 공개했습니다.

92B total / 6B active의 MoE, 512K context-
가중치(Weights), 추론 코드, 학습 연산(Training Operations)도 공개

나아가 7월에는 505B total / 18B active의 Pro 버전도 예정되어 있습니다.

DJ 렌:

커뮤니티의 관심은 벤치마크 1위 여부보다는, 오히려 Huawei 가속기(Accelerator)만으로 학습된 모델/스택이 보이기 시작했다는 점에 있었습니다.

수출 규제 하에서, NVIDIA 의존 없이 학습 스택이 성립될 수 있는가라는 의미가 큽니다.

DJ 미오:

다만, "Gemma 4 이상"이라는 주장이 어떤 Gemma 변종과 어떤 조건에서 비교되었는지 불분명하다는 비판도 나오고 있었습니다.

DJ 렌:

DeepSeek V4 대응 PR이 llama.cpp 메인라인(Mainline)에 머지(Merge)되었다는 점도 반가운 뉴스였습니다.