6월 12일에 개최된 Huawei Developer Conference (HDC 2026)에서 Huawei의 Executive Director인 Richard Yu는 완전히 새로운 오픈 소스 Pangu 대규모 모델인 openPangu 2.0을 공식적으로 출시했습니다. 이 모델은 HarmonyOS 생태계에 완전히 적응되어 있으며, Ascend 컴퓨팅 파워에서 심층적인 최적화 및 성능 돌파구를 달성했습니다.

openPangu 2.0은 512K 컨텍스트 처리 능력을 특징으로 하며, 서로 다른 애플리케이션 시나리오에 맞춘 두 가지 버전으로 제공됩니다. 이 모델은 1,000억 개 파라미터(hundred-billion-parameter) 범주에서 28:1이라는 가장 큰 희소성 비율(sparsity ratio) 기록을 세웠습니다:

• openPangu 2.0 Pro: 총 파라미터(Total parameters): 505B ; 활성화 파라미터(Activated parameters): 18B.
• openPangu 2.0 Flash: 총 파라미터(Total parameters): 92B ; 활성화 파라미터(Activated parameters): 6B.

컨퍼런스 발표와 라이브 데모에 따르면, openPangu 2.0은 처리량(throughput), 지연 시간(latency), 작업 처리(task processing) 측면에서 종합적으로 업그레이드되었습니다:

• Ascend 컴퓨팅 파워에 고도로 최적화되어, 단일 카드 사용자 처리량이 업계의 주류 오픈 소스 모델보다 최대 2배 높습니다.
• Ascend 네이티브 학습(Ascend-native training)을 기반으로 하여, 하이퍼 노드(hyper-node) 최적화 학습 효율이 30% 향상되었고, 512K 긴 시퀀스(long-sequence) 학습 처리량이 50% 증가했으며, 학습 일관성(training consistency)은 99%를 초과합니다.
• 고정밀 아키텍처(mHC | Muon | ModAttn)를 활용하며, 더 정밀한 컴퓨팅 파워 할당을 위해 DSA+SWA 독립 계층형 하이브리드 아키텍처(ultra-sparse attention)를 개척했습니다.

Huawei는 개발자들에게 완전한 권한을 부여하기 위해 6월 30일부터 openPangu 2.0의 핵심 구성 요소를 단계적으로 오픈 소스로 공개할 계획이라고 발표했습니다:

• 기본 구성 요소(Basic Components): 모델 아키텍처(model architecture), 모델 가중치(model weights), 기술 보고서(technical reports), 추론 코드(inference code).
• 신규 오픈 소스 구성 요소(Newly Open-Sourced Components): 사전 학습 코드(pre-training code), 사후 학습 코드(post-training code), 학습 연산자(training operators).

2.0 Pro 버전의 총 파라미터 수(total parameter count)가 505B라는 점을 둘러싼 대중의 관심에 대해, Richard Yu는 컨퍼런스에서 이러한 설계가 Huawei가 다른 중국 기업들의 요구를 지원하기 위해 막대한 양의 컴퓨팅 파워(computing power)를 할당함에 따라 자사에게 남은 컴퓨팅 파워가 제한적이었기 때문이라고 설명했습니다. 또한, AI 컴퓨팅의 터무니없이 높은 비용을 고려하여, Huawei의 현재 전략은 지연 시간(latency)과 처리량(throughput rate)을 실질적으로 개선하는 데 더 중점을 두고 있습니다.
[IMG:N]
submitted by /u/External_Mood4719
[link] [comments]