2.4T 파라미터 규모의 오픈 웨이트 (Open-Weight) 모델인 Alibaba의 Qwen3.8이 발표되었습니다. 이는 역대 최대 규모의 오픈 웨이트 모델이 될 것이나, 벤치마크 세부 정보는 부족한 상태입니다.

Alibaba의 Qwen 팀은 곧 오픈 웨이트 (Open-Weight)로 공개될 2.4조(trillion) 파라미터 규모의 모델인 Qwen3.8을 발표했습니다. 이는 DeepSeek-V3의 총 671B 파라미터를 압도하며, Llama 4의 예상 규모인 2T에 도전하게 됩니다.

주요 사실 (Key facts)

• 2.4조 (trillion) 파라미터 — 발표된 오픈 웨이트 (Open-Weight) 모델 중 최대 규모.
• DeepSeek-V3의 총 671B 파라미터를 압도함.
• Llama 4의 예상치인 2조 (trillion) 파라미터를 초과함.
• 아직 벤치마크 점수나 아키텍처 (architecture) 세부 사항은 공개되지 않음.
• 4-bit 양자화 (quantized) 버전은 약 1.2 TB의 GPU 메모리가 필요함.

Alibaba의 Qwen 팀은 X를 통해 거대한 2.4조 (trillion) 파라미터를 가진 Qwen3.8이 곧 출시되어 오픈 웨이트 (Open-Weight)로 전환될 것이라고 발표했습니다. 이 파라미터 수는 Qwen3.8을 역대 출시된 가장 큰 오픈 웨이트 (Open-Weight) 모델로 만들 것이며, DeepSeek-V3의 총 671B 파라미터와 Llama 4의 예상치인 2T를 압도할 것입니다.

이번 발표는 지난 12개월 동안 오픈 웨이트 (Open-Weight) 프런티어 모델 경쟁이 심화되는 가운데 나왔습니다. 2024년 12월에 출시된 DeepSeek-V3는 총 671B 파라미터를 가진 전문가 혼합 (Mixture-of-Experts) 아키텍처 (architecture)가 여러 벤치마크에서 GPT-4와 경쟁할 수 있음을 보여주었습니다. 보고된 바에 따르면 2조 파라미터 범위에 있는 Meta의 Llama 4는 아직 공개적으로 출시되지 않았습니다. Alibaba의 Qwen3.8은 순수 규모 면에서 두 모델을 모두 뛰어넘지만, 단순한 파라미터 수만으로는 우수한 성능을 보장하지 않습니다. 훈련 데이터의 품질, 아키텍처 (architecture) 선택, 그리고 추론 (inference) 효율성 또한 그만큼 중요합니다.

발표에서 부족한 점

Alibaba는 파라미터 (parameter) 수 외에 훈련 컴퓨팅 예산 (training compute budget), 데이터셋 구성 (dataset composition), 또는 아키텍처 (architecture) 세부 사항을 공개하지 않았습니다. Qwen 팀의 트윗에 따르면 해당 모델은 "지속적으로 진화하고 있다 (continuously evolving)"고 하며, 이는 여전히 활발한 훈련 단계에 있을 수 있음을 시사합니다. 벤치마크 점수 (benchmark scores), 컨텍스트 윈도우 길이 (context window length), 또는 추론 지연 시간 (inference latency) 수치도 공유되지 않았습니다. 이러한 정보 없이는, 해당 주장은 검증된 성능이라기보다 헤드라인을 장식하기 위한 파라미터 수에 불과합니다.

오픈 웨이트 (open-weight) 전략

이 정도로 거대한 모델을 오픈 웨이트 (open-weight)로 출시하는 것은 전례 없는 일입니다. Google의 PaLM 2나 OpenAI의 GPT-4와 같은 이전의 1T+ 파라미터 모델들은 독점적 (proprietary)으로 유지되었습니다. 만약 Alibaba가 오픈 웨이트 약속을 이행한다면, 연구 커뮤니티와 스타트업들은 API 의존성 없이 프런티어 급 (frontier-scale) 역량에 접근할 수 있게 될 것입니다. 하지만 2.4T 파라미터 모델을 로컬에서 서빙하려면 엄청난 하드웨어가 필요합니다. 4비트 양자화 (4-bit quantization)를 적용하더라도 1.2 TB 이상의 GPU 메모리가 필요하며, 이는 배포 범위를 하이엔드 클러스터 (high-end clusters)로 제한하게 됩니다.

경쟁적 영향

Alibaba의 행보는 Meta가 Llama 4의 출시를 가속화하도록 압박하며, DeepSeek가 더 큰 모델로 대응하도록 강제합니다. 이미 경쟁력 있는 오픈 웨이트 모델들 (Qwen2.5, DeepSeek-V3, Yi-Lightning)을 생산하고 있는 중국의 AI 생태계는 이제 규모 (scale) 면에서 직접적으로 경쟁하고 있습니다. 서구권 연구소들은 자신들의 가장 큰 모델들을 오픈 웨이트로 공개해야 한다는 압박에 직면하거나, 개발자들의 관심 (mindshare)을 잃을 위험에 처할 수 있습니다.

핵심 요약

• 2.4T 파라미터 오픈 웨이트 (open-weight) 모델인 Alibaba의 Qwen3.8이 발표되었습니다.
• 이는 역대 최대 규모의 오픈 웨이트 모델이 되겠지만, 벤치마크 세부 정보가 부족합니다.

주목할 점

Qwen3.8 is launching and going open-weight soon! With a ...

Alibaba가 주장하는 규모를 검증하기 위해, 향후 개최될 개발자 컨퍼런스나 가중치(weights) 공개와 함께 기술 보고서(technical report)의 세부 사항을 발표할지 주목해야 합니다. 또한 Llama 4의 일정에 대한 Meta의 대응과 DeepSeek의 차기 모델 발표도 주시하시기 바랍니다.

원문 게시처: gentic.news