openPangu-2.0-Pro는 Ascend에서 학습된 MoE (Mixture of Experts) 모델입니다. 이 모델은 총 505B (5,050억 개)의 파라미터를 보유하고 있으며, 활성화되는 파라미터는 18B (180억 개)입니다. 컨텍스트 길이 (Context length)는 512k입니다. 전체 사전 학습 (Pretraining) 데이터는 34T (34조 개) 토큰을 포함합니다. 사후 학습 (Post-training) 과정에서 openPangu-2.0-Pro는 느린 사고와 빠른 사고 능력을 갖춘 통합 SFT (Supervised Fine-Tuning), 다수의 전문가 RL (Reinforcement Learning, 강화학습) 학습, 그리고 여러 RL 전문가를 결합한 온-정책 증류 (On-policy distillation)를 통해 학습되었습니다. 더 자세한 내용은 openPangu-2.0 기술 보고서 (Tech Report)를 참조하십시오. 출처: https://ai.gitcode.com/ascend-tribe/openPangu-2.0-Pro /u/langsfang에 의해 제출됨 [link] [comments]