
Midnight AI Groove 26-08-03-qwen-38
요약
Alibaba가 차세대 오픈 웨이트 모델인 Qwen3.8-Max와 27B를 발표했습니다. Qwen3.8-Max는 2.4T 파라미터 규모로 코딩, 장기 에이전트, 네이티브 멀티모달 성능을 극대화한 것이 특징입니다.
핵심 포인트
- Qwen3.8-Max는 2.4T 파라미터와 1M 컨텍스트 길이를 지원함
- 자율 코딩 및 장기 에이전트 작업 수행 능력을 강조함
- 다음 주 중 Qwen3.8-Max 및 27B 모델의 오픈 웨이트 공개 예정
- OpenAI 및 Anthropic 호환 프로토콜을 지원하여 접근성 향상
DJ 미오: 안녕하세요, 「Midnight AI Groove」 시간입니다. 내비게이터 DJ 미오입니다.
DJ 렌: DJ 렌입니다. 오늘 밤은 정보량이 상당히 많은 AI 뉴스 회차입니다. 테마는 바로, Qwen 3.8 Max를 중심으로 한 2026년 여름의 오픈 웨이트 (Open Weights) 최전선입니다.
DJ 미오: 게다가 오늘은 단순히 "신모델이 나왔습니다"로 끝나지 않아요. 성능, 가격, 라이선스, 인프라, 에이전트 (Agent), 그리고 중국계 오픈 모델 (Open Model) 군의 전략까지 전부 연결되어 있거든요.
DJ 렌: 맞아요. 그래서 이번 회차에서는 화제의 중심인 Alibaba의 Qwen3.8-Max를 축으로 하면서, 주변에서 언급되던 Qwen3.8-27B, DeepSeek V4 Flash, Kimi K3, GLM 계열, MiniMax H3, 그리고 에이전트 실행 기반 및 평가 벤치마크 (Benchmark) 이야기까지 부족함 없이 정리해 보겠습니다.
DJ 미오: 그럼 가보죠. 오늘 밤의 그루브, 스타트.
DJ 미오: 톱 뉴스는 Alibaba Qwen이 Qwen3.8-Max를 발표했다는 것입니다. 그리고 중요한 점은, 다음 주에 오픈 웨이트 (Open Weights)를 공개하겠다고 선언했다는 점입니다.
DJ 렌: 게다가 동시에 Qwen3.8-27B도 오픈 웨이트 (Open Weights)화될 예정이라고 합니다. 이 부분이 굉장히 커요. 거대 플래그십 (Flagship) 모델과, 보다 현실적으로 사용할 수 있는 중형 모델 양쪽을 모두 내세운 형태네요.
DJ 미오: Qwen3.8-Max는 Alibaba 자체 표현에 따르면 **"지금까지 중 가장 고성능인 모델"**입니다. 특히,
- 코딩 (Coding)
- 장기 에이전트 (Agent) 작업
- 멀티모달 (Multimodal) 추론
이 세 가지를 전면에 내세웠습니다.
DJ 렌: 그리고 가격도 발표되었습니다.
입력 $2.00 / 100만 토큰 (Token)
출력 $6.00 / 100만 토큰 (Token)
캐시된 토큰 (Cached Token) $0.25 / 100만 토큰 (Token)
이전 세대인 Qwen Max보다 조금 저렴해졌다는 맥락도 있었죠.
DJ 렌: 이 발표가 주목받은 이유 중 하나는 공식적인 능력 주장이 상당히 공격적이었다는 점입니다.
DJ 미오: 구체적으로는,
10일 이상의 자율 코딩 (Autonomous Coding)
500턴 이상의 칩 설계 최적화
365일 규모의 EC 전략 운용
- 그리고,
시각(Vision)이 단순한 입력이 아니라 실행 루프의 일부로 통합된 네이티브 멀티모달 (Native Multimodal)
이라는 이야기였습니다.
DJ 렌: 즉 "똑똑한 챗봇입니다"가 아니라, 장기 태스크 (Task)를 수행하는 작업 주체로서 판매하고 있는 셈이네요.
DJ 미오: 공개된 GitHub 트레이스(Trace)가 포함된 10일 초과 자율 코딩이라는 주장도 있어서, 이 부분은 상당히 임팩트가 있었습니다. 다만 나중에 언급하겠지만, 이런 데모는 모델 단독의 능력인지, 아니면 하네스 (Harness)를 포함한 능력인지를 구분할 필요가 있습니다.
DJ 미오: 스펙 면도 정리해 보죠.
DJ 렌: 공식 및 주변 요약에서 나온 주요 수치는 다음과 같습니다.
총 파라미터 (Parameter) 수 2.4T
1M 토큰 (Token)의 컨텍스트 길이 (Context Length)
최대 출력 128k 토큰 (Token)
- reasoning effort 모드로
low / medium / xhigh - OpenAI 호환 · Anthropic 호환 프로토콜 대응
- 벤치마크 (Benchmark) 주장으로서
PaperBench 93.0, CoWorkBench 74.8, WideSearch 81.9 - 또한, 이차 정보로서
1토큰 (Token)당 95B active parameter라는 이야기
DJ 미오: 이 95B active가 사실이라면, **2.4T total에 대해 활성화되는 부분은 약 4%**라는 뜻이네요. 즉 상당히 강력한 **MoE (Mixture of Experts)형 희소 구조 (Sparse Structure)**라는 거군요.
DJ 렌: 맞아요. 전부를 매번 구동하는 것이 아니라 일부 전문가(Expert)만 사용합니다. 그래서 "저장은 거대하지만, 추론 시의 활성화는 비교적 작다"는 성격을 갖게 되죠.
DJ 미오: 다만, 이것이 "가볍다"는 의미는 전혀 아닙니다. 그 점은 나중에 중요한 논점이 될 거예요.
DJ 렌: Alibaba는 배포 면에서도 단번에 영역을 넓혔습니다.
Qwen Studio
API
Command Code
- 그리고 나중에
Venice
등으로 제공합니다.
DJ 미오: 더불어 주변 인프라의 대응 표명도 빨랐습니다.
Baseten
Hermes Agent
- Command Code
등이 지원 예정이거나 통합을 나타내고 있었습니다.
DJ 렌: OpenAI/Anthropic 호환 프로토콜이라는 이야기가 사실이라면, 기존의 툴체인 (Toolchain)에 상당히 끼워 넣기 쉽겠네. 이건 엔지니어들에게 중요하지.
DJ 미오: 여기가 가장 궁금한 부분이야. 독립 평가에서는 상당히 강력한 수치가 나오고 있었어.
DJ 렌: 우선 Frontend Code Arena에서, Qwen3.8-Max는 종합 4위, Elo 1668.
그 위로는
- Claude Opus 5 [Max] 1705
- Kimi K3 [Max] 1676
- Claude Opus 5 [High] 1669 부근
DJ 미오: 상당히 상위권이네. 서브 카테고리에서도 강력해.
Consumer Product에서 2위, Brand & Marketing, Reference-based design, Gaming, Content Creation Tools에서 3위, Data & Analytics에서 4위, Simulations에서 5위
DJ 렌: 그리고 Vision Arena에서는 2위, 1305점. 톱인 Claude Fable 5 [High]와의 차이는 불과 13점이야.
DJ 미오: 즉, 코딩에 치중된 것뿐만 아니라, 비전(Vision)이나 디자인 계열에서도 상당히 강력하다는 뜻이지.
DJ 렌: 게다가 Vals Index에서는,
오픈 웨이트 (Open-weight) 모델 중 2위, 전체 43개 모델 중 10위, 스코어 66.1
DJ 미오: 게다가 Vals는 Claude Opus 4.7과 동일한 스코어 66.1이라고 했었지.
DJ 렌: 그러면서도 테스트당 비용은 약 2.3배 저렴하다는 보고가 있어.
- Qwen3.8-Max: $2.68
- Opus 4.7: $6.17
DJ 미오: 벤치마크 개별 항목으로는,
SWE-bench 87.3%,
Terminal-Bench 2.1에서 67.4
였어.
DJ 렌: SWE-bench 87.3은 상당히 강력해. 비교를 위해 기사 내에서는 다음과 같이 위치를 매겼어.
- GPT-5.5: 82.6%
- GLM-5.2: 83.3%
- Claude Opus 4.8: 89.2%
DJ 미오: Terminal-Bench 2.1도 Qwen 3.7 Max의 61.0에서 67.4로 상승했어. 약 2.5개월 만에 Vals Index가 57.5 → 66.1로, +8.6포인트 급증했다는 점도 강조되었지.
DJ 미오: AI 업계는 숫자와 분위기가 뒤섞이기 쉬우니까 정리해 보자.
DJ 렌: 사실로서 말할 수 있는 것은 비교적 명확해.
- Alibaba가 Qwen3.8-Max를 발표
- 다음 주 오픈 웨이트 (Open-weight) 공개 예정
- Qwen3.8-27B도 오픈 웨이트화 예정
- API 가격 공개
- Arena 및 Vals에서 높은 순위 기록
- 1M 컨텍스트 (Context), 128k 출력 등의 운용 정보가 보고됨
DJ 미오: 반면에, 의견·해석·과장도 많았어.
예를 들어,
- "중국은 이제 뒤처지지 않는다"
- "오픈 모델이 승리하기 시작했다"
- "Opus 4.8은 거의 삼켜졌다"
- "Anthropic에 명확한 압박"
- "최고의 객체 탐지 VLM (Vision Language Model)"
이런 것들은 어디까지나 게시자의 해석이야.
DJ 렌: 맞아. 핵심적인 사실만 봐도 충분히 강력한 뉴스인데, 거기에 커뮤니티의 열광이 상당히 더해져 있었어.
DJ 렌: 이 부분이 매우 중요해. 이번 논의에서 가장 중요한 카운터포인트 (Counterpoint) 중 하나가 **"오픈 웨이트 (Open-weight)" ≠ "로컬에서 쉽게 돌릴 수 있음"**이라는 이야기였어.
DJ 미오: Jamin Ball의 지적이 대표적이었지. 거대 MoE (Mixture of Experts)의 가격 비교는 단순한 토큰 단가만으로는 말할 수 없고, 애초에 모델이 너무 거대하다는 점.
DJ 렌: 비교 대상으로 나온 것이,
Qwen 3.8 Max > 2T params
Kimi K3 ~ 104B active / token
GLM 5.2 = 744B total, 40B active
Kimi K3의 경우 가중치를 로드하는 것만으로 1TB 초과 메모리가 필요하며, 최소 H100/B200 8장 이상, 권장 사양은 64개 이상의 액셀러레이터 (Accelerator)를 갖춘 슈퍼노드 (Supernode)급이라는 이야기가 나왔어.
DJ 미오: Qwen3.8-Max도 액티브 (Active) 파라미터가 조금 낮더라도, 2.4T급 MoE는 소비자용 로컬 모델이 아니야. 이 점은 상당히 냉정하게 바라봐야 해.
DJ 렌: StableQuan의 실무적인 코멘트도 있었는데, 거대 모델은
- 긴 프롬프트로 인해 RAM을 많이 소모함
- 도구 호출 (Tool calling)도 느림
- 소비자용 하드웨어로는 다루기 어려움
그래서, API로 사용하는 편이 좋다는 거지.
DJ 미오: 그렇기 때문에 모두가 실제로 Qwen3.8-27B에 강력하게 반응하고 있는 거야. 플래그십은 영향력, 27B는 보급력, 이런 식으로 역할 분담이 된 거지.
DJ 미오: 27B 쪽은 오히려 엔지니어나 로컬 사용자들에게 본진일지도 몰라.
DJ 렌: Reddit에서는 상당히 분위기가 뜨거운데, Unsloth의 Daniel Han이 "Qwen3.8-27B는 17GB VRAM에서 돌아간다"라고 시사한 것이 화제였어.
DJ 미오: 다만, 이건 상식적으로 생각하면 양자화 (Quantization)나 QAT (Quantization-Aware Training)를 전제로 한 것일 거라고 추측되고 있어. 풀 정밀도 (Full precision) 27B가 17GB라는 의미는 아닐 거라고 말이야.
DJ 렌: 댓글에서는,
- 17GB는 16GB 사용자들에게는 아쉽다
- 하지만 매우 기대된다
- 48GB VRAM이라면 q8 계열도 현실적일지도 모른다
- 더 큰 122B나 60B dense 모델도 원한다
같은 반응이 많았어.
DJ 미오: 요컨대, 커뮤니티가 정말로 원하는 건 "벤치마크 점수를 몇 포인트 올리는 2T급"만이 아니라, 실제로 돌릴 수 있는 강력한 모델인 거지.
DJ 렌: 성능보다 사실 더 심각할 수도 있는 게, 라이선스의 불확실성이야.
DJ 미오: OstrisAI가 Qwen의 라이선스가 미국, EU, 영국, 한국에서의 사용이나 다운로드를 금지하고 있는 것으로 읽힌다고 지적했어. 만약 그렇다면 상당히 중대한 문제지.
DJ 렌: 다만, 이 데이터셋 내에서는 Alibaba 측의 명확한 보충 설명이 보이지 않아서, 최종적으로 해결되지 않은 상태야.
DJ 미오: 그리고 이 문제는 동시에 화제가 되었던 MiniMax H3에서도 발생하고 있었어. 지리적 제약이 있다면, 그것은 "open-weight"라고 말할 수는 있어도, OSI적인 오픈 소스(Open Source)와는 전혀 달라.
DJ 렌: 엔지니어 관점에서 중요한 건 여기서,
"open weights"라고 해도 실제로는
- 오픈 소스 권리가 없음
- 용도 제한이 있음
- 지역 제한이 있음
- 주요 지역에서의 상업적 이용 허가가 불분명함
이라는 경우가 있다는 거야.
DJ 미오: 즉, 마케팅상의 "오픈"과 법무·상업상의 "사용 가능"은 별개야. 이건 정말 중요해.
DJ 미오: 이번 발표는 단순한 신제품이 아니라, Alibaba의 전략 전환으로 읽히고 있어.
DJ 렌: ZhihuFrontier의 해석에 따르면, Alibaba는 기존에 Max 라인을 닫아두었고, 오픈 쪽은 Qwen3-235B 정도까지였어. 그런데 이번에는 최상위 클래스를 개방하는 방향으로 움직였어.
DJ 미오: 배경으로는 DeepSeek, Kimi, GLM 등 중국계 오픈 모델 군이 존재감을 너무 키워서, API 독점만으로는 가치를 유지하기 어려워졌다는 분석이야.
DJ 렌: 즉,
- 독점성보다는
에코시스템 영향력 - 모델 판매뿐만 아니라
개발자 락인 (Lock-in) - 프레임워크, 추론 기반, 증류 (Distillation), 앱 통합
이런 부분에서 승부하는 단계에 들어왔다는 거지.
DJ 미오: 거대 플래그십을 오픈 웨이트로 내놓는 의의는, 모두가 직접 호스팅하는 것이 아니라 자신들의 계보를 에코시스템 표준으로 만드는 것일지도 몰라.
DJ 렌: Qwen3.8-Max의 기술적 특징으로서 중요한 점은, 희소 MoE (Sparse MoE)를 상당히 강력하게 밀어붙이고 있을 가능성이야.
DJ 미오: 95B active / 2.4T total이 맞다면 활성화율은 약 4%야. 비교하자면 Qwen3-235B-A22B는 약 10%에 가깝다고 알려져 있었지.
DJ 렌: 이것이 의미하는 바는, 저장 비용은 거대하더라도 추론 시에는 좁은 전문가 (Expert) 모델들만 사용하여 효율을 내는 방향성이라는 거야.
DJ 미오: 그 흐름과 나란히, 에코시스템에서는 선형 어텐션 (Linear Attention) 같은 다른 설계 트렌드에 대한 언급도 있었어. 다만, 이것이 Qwen3.8-Max와 직접 연결된 확정 정보는 아니야.
DJ 렌: 중요한 건, 이러한 설계를 통해
- 총 파라미터를 늘리고
- API 가격을 낮추면서
- 그러면서도 강력한 성능을 유지하는
것이 가능해졌을지도 모른다는 점이야.
DJ 미오: Qwen3.8-Max가 언급되는 방식에서 특징적인 것은, **범용 채팅보다 "coding and cowork"**가 전면에 내세워졌다는 점이야.
DJ 렌: 주장된 유스케이스(Use case)도,
10일 이상의 자율 코딩
500턴 이상의 칩 최적화
365일 규모의 EC 전략
즉, 완전히 **long-horizon agent (장기 목표 에이전트)**를 위한 것이다.
DJ 미오: 벤치마크도
PaperBench
CoWorkBench
WideSearch
처럼, 단발성 QA라기보다는 목표 유지 · 도구 이용 · 긴 궤적의 일관성을 확인하는 것들이 나열되어 있었다.
DJ 렌: 여기서 중요한 점은, 최근의 흐름으로서 장기 태스크 (Long-term task) 능력은 모델 단독이 아니라, 모델 × 하네스 (Harness)의 성질로 이해되기 시작했다는 것이다.
DJ 미오: 맞아맞아. Cline의 이야기가 그 상징이었지. 많은 오픈 모델들이 RL (강화학습)을 통해 "확인이나 검증에 불필요한 토큰을 사용하도록" 훈련되어 있어서, 그 행동을 허용하는 하네스라면 성능이 약 20% 올라간다는 주장 말이야.
DJ 렌: 그래서 Qwen3.8-Max도 단순히 "모델이 대단하다"는 것을 넘어, 검증 중심의 장기 루프 (Long-term loop)를 돌리는 런타임 (Runtime)과 결합했을 때 진가를 발휘하는 타입일지도 몰라.
DJ 렌: 커뮤니티의 반응도 깔끔하게 세 층으로 나뉘어 있었어.
DJ 미오: 우선 지지 · 열광.
- Teknium이 "Qwen 3.8 Max와 로컬 27B가 온다"라고 언급
- Baseten이 "지원하겠다"고 발표
- Hermes Agent에서 테스트해보라는 목소리
- "드디어 오픈 max 모델이다"
DJ 렌: 다음은 중립 · 분석적인 반응.
- 토큰 효율성도 확인하라
- 인프라 (Infra) 부하가 거대하다
- 성능 향상의 대부분은 포스트 트레이닝 (Post-training) 결과가 아닌가?
- 벤치마크 조건 변경에는 주의하라
같은 관점들이지.
DJ 미오: Vals는 특히, Alibaba의 Terminal Bench 보고서는 타임아웃 (Timeout) 조건을 조정했지만, Vals 측은 원래의 타임아웃을 유지했다는 방법론상의 주석을 달았어.
DJ 렌: 그리고 회의적인 반응으로는,
- 라이선스 제약이 있다면 정말 오픈인가?
- 슈퍼노드 (Supernode) 전제라면 경쟁상의 실효성은 제한적이지 않은가?
- 벤치마크 점수가 올라도, 최상위 클로즈드 (Closed) 모델과 완전히 동등하다고는 아직 말할 수 없다
등이 있었어.
DJ 미오: Qwen3.8-Max는 단독으로 나타난 것이 아니야. 2026년은 중국계의 거대 오픈 / 준 오픈 모델이 연속되는 주기에 있어.
DJ 렌: 비교 대상으로 반복해서 언급된 것은,
Kimi K3 (2.8T)
GLM-5.2
DeepSeek V4 Flash / Pro
MiniMax H3
등이지.
DJ 미오: Artificial Analysis 계열의 견해로는, 중국의 최전선 모델은 미국 톱 모델보다 3~9개월 뒤처져 있다고 하면서도, 오픈 웨이트 (Open-weight) 전선에 한해서는 최근 2년 동안 거의 중국이 주도하고 있다는 이야기도 있었어.
DJ 렌: 요컨대,
클로즈드 최상위는 아직 미국이 우세한 경우가 많다 - 하지만
오픈 웨이트 최전선은 중국 세력이 주도한다 - 게다가
코딩, 디자인, 일부 멀티모달 (Multimodal)에서 격차가 줄어들고 있다
라는 구도야.
DJ 미오: 그래서 이번 발표는 모델 하나에 대한 뉴스라기보다, 세력도의 재편을 보여주는 시그널로 받아들여졌어.
DJ 렌: 여기서부터는 구현자의 관점에서 정리해 보자.
DJ 미오: Qwen3.8-Max가 제시한 트레이드오프 (Trade-off)는 다음과 같아.
상당히 강력한 평가 성능
공격적인 API 가격
단, 거대한 서빙 (Serving) 부하
라이선스 / 지역 제약의 불확실성
1M 컨텍스트와 128k 출력으로, 대규모 워크플로우 (Workflow)에 적합
DJ 렌: 특히, 캐시 토큰 (Cache token)이 $0.25/M이라는 점은 에이전트 용도에서 매우 유리해.
동일한 코드베이스, 동일한 지시, 동일한 도구 로그를 반복해서 재사용하니까.
DJ 미오: 거대 리포지토리(Repository)나 장기 에이전트에서는 입력의 대부분이 "매번 같은 전제"가 되기 쉽거든. 그 부분이 저렴하다는 건 상당히 의미가 있어.
DJ 렌: 다만, 자체 운영은 힘들기 때문에 실제로는
- API로 Qwen3.8-Max 사용
- 로컬이나 광범위한 배포에는 Qwen3.8-27B 사용
이라는 구분(Segmentation)이 생길 수 있어.
DJ 미오: 그리고 일부 시각에서는 Qwen3.8-Max에 대해
- 이미지 인식이나 라벨링 (Labeling)에 강하다
- 샘플 효율성 (Sample efficiency)이 좋을지도 모른다
- 27B로 증류 (Distillation) 또는 OPD 하기 쉬울지도 모른다
라는 기대도 있었어.
DJ 미오: 이번 호는 Qwen뿐만 아니라 주변 이야기들이 전부 연결되어 있으니, 그 부분도 제대로 다뤄보자고.
DJ 렌: 큰 서브 테마는, 장기 에이전트 성능은 모델 단독으로 결정되지 않는다는 것이야.
DJ 미오: ZhihuFrontier의 요약에 따르면, 장기 태스크의 실패는
목표 드리프트 (Goal Drift), 컨텍스트 파손 (Context Corruption),
희소한 보상 (Sparse Rewards)과 비가역적 행동 (Irreversible Actions)
같은 문제들로 나뉜다고 했다.
DJ 렌: 그리고 제어의 중심은 과거의 "프롬프트 엔지니어링 (Prompt Engineering)"에서, 이제는
- 런타임 (Runtime)
- 메모리 (Memory)
- 툴 호출 (Tool Calling)
- 검증 (Verification)
- 오케스트레이션 (Orchestration)
- 리커버리 (Recovery)
을 포함하는 **하네스 설계 (Harness Design)**로 옮겨가고 있어.
DJ 미오: 이러한 흐름 속에서 몇 가지 구체적인 제품들도 등장했어.
Cloudflare /computer: isolate와 Linux container를 동적으로 전환하며, 각 에이전트에게 "자신만의 전용 컴퓨터"를 부여하는 런타임
Cursor: 클라우드 에이전트의 토큰 효율을 20~30% 개선, computer-use로 80% 개선, 나아가 Google Workspace 연동
LangChain Managed Deep Agents: 평가, 메모리, OAuth, 채널 연동, 샌드박스를 포함하여 퍼블릭 베타(public beta) 출시
Hermes Agent Herald: 음성, 플러그인, A2A, Webhook, 연구·생산성 스킬, 토큰 효율 개선
DJ 렌: 즉, 지금의 경쟁은 모델 단독의 벤치마크뿐만 아니라, 어떤 실행 기반에서 능력을 끌어낼 수 있는가의 싸움이야.
DJ 미오: 이 테마에서는 실례도 많았어.
DJ 렌:
Kimi K3의 CEO-Bench 결과는 프로바이더의 엔드포인트(endpoint)에 따라 크게 달라졌다-
Cline은 하네스 변경만으로 약 20% 개선되었다고 주장 -
동일한 모델, 동일한 엔드포인트임에도 에이전트의 발판(scaffolding)에 따라 24개 태스크 성공과 19개 태스크 성공으로 나뉘었다는 Reddit의 지적도 있었어.
DJ 미오: 즉, 벤더의 "10일 자율 코딩" 같은 데모를 볼 때는, 그 안에 하네스의 노하우가 얼마나 포함되어 있는지를 확인해야 해.
DJ 렌: 모델의 순수한 지능과 주변의 검증·복구·툴 제어를 구분하는 것이 앞으로 점점 더 어려워지겠네.
DJ 렌: 평가에 관한 이야기도 중요했어.
DJ 미오: 예를 들어,
MerchantBench: 365일 EC 시뮬레이션, 약 98,843개 상품, 26개 툴, 누적 순자산으로 평가
One Layer Deeper: 반복적 모듈러 제곱(iterative modular square)에 기반한 적응형 계산 챌린지
Artifacts Hub / Adoption Dashboard: 792개의 오픈 모델을 추적
ITSMBench: 궤적(trajectory)을 포함한 오픈 벤치마크로서 주목
등, 새로운 평가 자산들이 나오고 있어.
DJ 렌: 게다가, 궤적을 공개해야 한다는 주장도 있었어. 점수만으로는,
- 모델이 나쁜 것인지
- 태스크 정의가 나쁜 것인지
- 검증기가 취약한 것인지
알 수 없으니까.
DJ 미오: 그건 정말 맞는 말이야. 장기 에이전트 평가에서는 실패 원인의 가시화가 점수보다 더 중요해지고 있어.
DJ 미오: 최근에는 "모델을 사용하여 모델을 단련하는" 흐름도 가속화되고 있어.
DJ 렌: 여기서는
RSIBench-Data에서 Kimi K3 + Kimi Code가 27.317% weighted score를 기록, Intology의 Locus가 PostTrainBench에서 SOTA를 주장, Locus로 포스트 트레이닝(post-training)한 Qwen3 1.7B Base가 공식 인적 튜닝 버전을 상회함-
라이브 Kaggle에서도 16일 후 평균 4위
같은 이야기들이 나왔지.
DJ 미오: 한편으로는 평가의 엄격함에 대한 경고도 있어.
- 노이즈가 많은 RLVR 데이터에서는 엄격한 조건일 때 MATH 정확도가 9% 이상 떨어졌다는 보고
- 대리 목적(proxy objective)을 최적화했음에도 실제 롤아웃(rollout)에서는 악화되었다는 사례
같은 이야기들도 있었어.
DJ 렌: 즉, 자동화가 강력해지는 한편, 검증 설계가 허술하면 자기 기만(self-deception)에 빠지게 된다는 뜻이야.
DJ 렌: Qwen이 주인공이었지만, 같은 날 상당한 존재감을 보인 것이 DeepSeek V4 Flash였어.
DJ 미오: 특히 화제가 된 것은 비용 대비 성능(cost-adjusted performance)이 매우 강력하다는 점이야.
Vals에서는 점수 60을 넘는 모델 중 최저가이며, 심지어 차점자보다 35배 저렴하다는 주장이 있었어.
DJ 렌: WeirdML에서는,
- Flash-0731 high / max에서
57.1% / 63.0%
라는 보고도 나왔어.
DJ 미오: 다만 이쪽도 주의가 필요해. 가성비 산점도(cost-performance scatter plot)에 대해서는,
- “kill line(킬 라인)”이라고까지 말하기는 과하다
- Pareto frontier(파레토 프런티어) 상에 있다고 해서 다른 모델이 전부 죽는 것은 아니다
- 레이턴시(Latency), 가용성(Availability), 문맥 길이(Context length), 품질의 편차, 하드웨어 조건 등도 고려해야 한다
라는 반론이 나오고 있었다.
DJ 렌: 맞아. 그리고 Reddit에서는, 284B급 DeepSeek V4 Flash가 2T급 Qwen나 Kimi에 “필적한다”라고 할 때, 그것이 능력이 동등하다는 의미인지, 아니면 가격 대비 성능(Cost-performance)이 비슷하다는 의미인지에 대한 논쟁도 있었지.
DJ 미오: DeepSeek 관련해서는 로컬 추론(Local inference)이나 추론 가속화에 관한 이야기도 흥미로웠어.
DJ 렌:
llama.cpp가 DeepSeek V4를 위한 MTP/DSpark 대응을 추가 - DGX Spark 벤치마크에서
약 50%의 처리량(Throughput) 향상 - 단, 최신 0731 버전은
MTP가 아닌 DSpark 중심이라는 주의사항이 있어.
DJ 미오: 게다가, Mference라는 MLX 기반의 로컬 추론 엔진도 등장했어.
이것은
- 공통 코어와 KV만 상주
- 필요한 전문가(Expert)만 SSD에서 스트리밍
하는 방식으로, 거대한 MoE(Mixture of Experts)를 낮은 메모리 점유율로 구동하려는 시도야.
DJ 렌: Apple M5 Pro에서의 보고 수치로는,
- Gemma 4 26B-A4B: ~2GB RAM, 31–35 tok/s
- Qwen 3.6 35B-A3B: ~1.45GB, 19–23 tok/s
- DeepSeek V4 Flash 284B-A13B:
5.3–6.8GB RAM, 약 91GB 디스크, 최대 4.8 tok/s
라는 숫자가 나왔어.
DJ 미오: 상당히 I/O 병목(I/O bound)이 심하긴 하지만, 거대 MoE + SSD 스트리밍으로 로컬화하는 미래가 보이기 시작하는 느낌이야.
DJ 렌: 흥미로웠던 건, “중국 연구소들을 하나로 묶어서 일반화하지 마라”라는 게시물이었어.
DJ 미오: 거기서는 각 회사의 전략이 상당히 다르다고 언급되었지.
Qwen: 분산 배포 및 에코시스템 중시 -
DeepSeek: 아키텍처, 논문, 가중치(Weights) 공개의 존재감 -
Ant Ling: 저렴한 장기 서빙(Long-term serving)에 중점 -
GLM: 별도의 라인에서 고성능 경쟁 -
MiniMax: 멀티모달(Multimodal) / 비디오 측면
같은 느낌이야.
DJ 렌: Ant Ling 3.0 Flash에 대해서는,
124B total / 5.1B active / KDA + MLA hybrid attention -
262k context
로, 저렴한 장기 에이전트 루프(Agent loop)에 초점을 맞추고 있다는 설명이 있었어.
DJ 미오: 즉, “중국 세력이 강하다”라는 큰 흐름은 사실일지 몰라도, 그 속을 들여다보면 각 회사마다 승리 전략이 제각각이라는 거지.
DJ 미오: GLM 계열도 다음 움직임이 머지않은 것 같았어.
DJ 렌: GitHub 상의 SDK 브랜치에서 GLM 5.3이 시사되고 있었어. JSON Schema 구조화된 출력(Structured output) 대응 업데이트가 발견되어서, 곧 나올 것이라는 이야기가 나오고 있어.
DJ 미오: 게다가 이미 GLM-5.2 Max가 Frontend Code Arena에서 종합 2위, 오픈 모델 1위라는 맥락도 있지. 그래서 다음 모델이 나오면 또다시 세력도가 바뀔지도 몰라.
DJ 렌: Qwen 외곽에서 가장 큰 화제는 MiniMax H3였어.
DJ 미오: 이것은 33B급 비디오 모델로 거론되며,
- 텍스트, 이미지, 비디오, 오디오 참조
- 최대 15초 클립
- 2K 해상도
- 로컬에서는
RTX 5090급에서 40GB 전후, 약 5.5분 만에 5초 생성
같은 초기 보고가 있었어.
DJ 렌: 게다가 Video Arena에서 오픈 모델 1위, 심지어 다음 오픈 모델을 280포인트 이상 따돌리며, 이미지→비디오 분야에서는 종합 톱 클래드와 어깨를 나란히 한다는 강력한 평가를 받았지.
DJ 미오: 일반 용도의 “옴니모달(Omni-modal) 생성계”로서 완성도가 높다고 평가받고 있는데,
- 텍스트
- 이미지
- 비디오
- 오디오
를 동일한 컨텍스트(Context) 내에서 다룬다는 점이 높게 평가되었어.
DJ 렌: 다만, 이것도 라이선스가 좀 복잡해. 처음에는 “US/EU/UK/Korea에서 사용할 수 없다”라고 읽혔지만, 나중에 정식 허가 프로세스가 필요할 뿐 완전 금지는 아니다라는 보충 설명이 나왔어.
DJ 미오: 이 차이는 크지. 법무상으로 “절대 불가”와 “신청제”는 완전히 다르니까.
DJ 미오: 기술적 내용이 덜한(Less Technical) Reddit에서는 MiniMax H3의 데모 영상이 상당히 뜨거웠어.
DJ 렌:
- “Will Smith eating spaghetti” 계열의 전형적인 스트레스 테스트(Stress Test)에서 높은 평가를 받음
- 풀 정밀도 가중치(Full Precision Weights) 데모에서는
음성의 표현력이나 물리적 일관성 (Physical Consistency), 예를 들어 테이블이 흔들리는 방식의 자연스러움이 화제가 됨 - RTX 4090 Laptop 16GB + 64GB RAM 환경에서 저해상도 생성이 가능했다는 게시글도 있음
DJ 미오: 물론, 이것들은 대부분 **정량적 평가가 아닌 인상 기반 (Impression-based)**이야. 하지만 커뮤니티가 “로컬 영상 생성 기술이 한 단계 올라갔다”라고 느낀 것은 확실해.
DJ 렌: 이번 호에는 다른 중요한 화제들도 있었으니, 가볍게 짚고 넘어가자.
DJ 미오:
- OpenAI의 차기 모델이 수학 및 이론 컴퓨터 과학 분야의 오랜 미해결 문제에서 10건의 새로운 결과물을 도출했다는 발표. 토큰 비용은 GPT-5.6 Sol 환산 시 약 $2,000라고 주장되었으나, 전체 시도 비용에 대한 해석에는 논란이 있음.
- GPT-Live 기술 심층 분석. 저지연 음성 경로(Low-latency audio path)와 비동기 추론/도구 경로(Asynchronous inference/tool path)를 분리하여, 세션 시작 시의 라운드 트립(Round-trip)을 6회에서 1회로 단축.
- Google Gemini Spark가 Chrome에서 자동 브라우징을 수행하며, 로그인된 계정 기반의 작업을 보조.
- Sakana Namazu API는 일본어, 일본 문화, 일본 비즈니스에 최적화됨을 내세움.
- LiteParse는 PDF에서 구조화된 정보를 ms/page 급 속도로 추출.
- Jina reranker v3.5는 0.6B 파라미터로 BEIR에서 높은 점수를 기록.
- DSPy 3.3.0은 코드 + 프롬프트 최적화 및 새로운 도구 호출(Tool calling) 기능을 추가.
DJ 렌: 모두 “모델 단독”에서 “시스템 전체”로 무게 중심이 이동하고 있다는 것을 느끼게 하네.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기