알리바바는 Qwen4 Max를 출시했으며, Artificial Analysis Intelligence Index에서 Qwen3.8 Max보다 9점을 얻었고, Task당 비용(Cost per Task)은 약 11% 낮아 Kimi K3.1 Pro에 비해 3점 낮은 점수를 기록했습니다.
Qwen4 Max는 xhigh 추론 노력(xhigh reasoning effort)을 사용하여 Intelligence Index에서 43점을 획득했으며, 이는 Qwen3.8 Max (xhigh)보다 9점 앞서고 Kimi K3.1 Pro (max, 46점)보다 3점 낮은 점수입니다.
주요 시사점:
➤ Qwen4 Max는 Index의 모든 평가 항목에서 Qwen3.8 Max (xhigh, 34점) 대비 개선되었습니다: HLE-Diamond +21점 상승(24% → 45%), AA-Omniscience +18점 상승, AutomationBench-AA +17점 상승, CritPt v2 +13점 상승, Terminal-Bench-Science +11점 상승, Terminal-Bench 4.0 +9점 상승, GDP.pdf +3점 상승, FrontierCode 2.0 +3점 상승 및 AA-Briefcase +82 Elo 포인트 상승.
➤ Qwen4 Max는 Intelligence Index Task당 $3.27의 비용이 발생하며, 이는 Qwen3.8 Max($10.02)보다 약 3배 적고 Kimi K3.1 Pro($3.68)보다 약 11% 저렴합니다: 이는 Qwen3.8 Max 대비 토큰당 가격이 25% 낮고, 캐시 히트(cache hits) 비용이 70% 절감되었으며, 전반적인 토큰 사용량이 적기 때문입니다. Tencent Hy4는 Task당 약 3배 낮은 비용($1.03)으로 운영되지만, Index 점수는 8점 낮습니다.
➤ Qwen4 Max는 Task당 출력 토큰을 Qwen3.8 Max보다 39% 적게 사용합니다: Intelligence Index Task당 약 105k 출력 토큰(Qwen3.8 Max의 약 171k, Kimi K3.1 Pro의 약 72k, Tencent Hy4의 약 78k)을 사용합니다. Qwen4 Max는 더 적은 토큰을 사용하면서도 Intelligence Index 점수를 9점이나 높였습니다.
➤ AA-Briefcase (지식 작업): 실제 비즈니스 파일을 가로지르는 에이전트(agentic) 작업을 평가한 AA-Briefcase에서, Qwen4 Max는 1686 Elo를 기록하여 Kimi K3.1 Pro의 1674점과 Tencent Hy4의 1446점을 능가했습니다.
➤ Qwen4 Max는 Terminal-Bench 4.0과 FrontierCode 2.0에서 Kimi K3.1 Pro와 Tencent Hy4에 뒤처집니다: Qwen4 Max는 Terminal-Bench 4.0에서 48%를 기록하여 Kimi K3.1 Pro의 67%, Tencent Hy4의 37%보다 낮습니다. 실제 코딩 작업을 평가한 @cognition의 비공개 평가인 FrontierCode 2.0에서는 26%를 기록하며 Kimi K3.1 Pro(26%)와 동등하지만, Tencent Hy4(31%)에는 뒤처집니다.
주요 모델 상세 정보:
➤ 컨텍스트 창(Context window): 1M 토큰
➤ 멀티모달: 텍스트 및 이미지 입력과 텍스트 출력을 지원합니다.
➤ 가격 책정(Pricing): 알리바바의 자체 API(first-party APIs)를 통해 입력/출력 토큰 1백만 개당 $1.50/$4.50이며, 캐시 적중 가격은 $0.075입니다. 이는 전반적으로 Qwen3.8 Max보다 낮은 가격대입니다 (Qwen3.8 Max는 입력/출력 토큰 1백만 개당 $2.00/$6.00이며, 캐시 적중 가격은 $0.25입니다).
➤ 사용 가능 여부(Availability): @Alibaba_Qwen의 자체 API를 통해 이용 가능합니다.