Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Huawei가 Ascend 기반의 MoE 모델인 openPangu-2.0-Pro를 오픈소스로 공개했습니다. 505B 파라미터를 보유하며, 512k의 긴 컨텍스트 길이를 지원합니다. SFT와 강화학습(RL), 온-정책 증류 기술을 통해 사고 능력을 최적화했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기openPangu-2.0-Pro는 Ascend에서 학습된 MoE (Mixture of Experts) 모델입니다. 이 모델은 총 505B (5,050억 개)의 파라미터를 보유하고 있으며, 활성화되는 파라미터는 18B (180억 개)입니다. 컨텍스트 길이 (Context length)는 512k입니다. 전체 사전 학습 (Pretraining) 데이터는 34T (34조 개) 토큰을 포함합니다. 사후 학습 (Post-training) 과정에서 openPangu-2.0-Pro는 느린 사고와 빠른 사고 능력을 갖춘 통합 SFT (Supervised Fine-Tuning), 다수의 전문가 RL (Reinforcement Learning, 강화학습) 학습, 그리고 여러 RL 전문가를 결합한 온-정책 증류 (On-policy distillation)를 통해 학습되었습니다. 더 자세한 내용은 openPangu-2.0 기술 보고서 (Tech Report)를 참조하십시오. 출처: https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro /u/langsfang에 의해 제출됨 [link] [comments]