ascend-tribe/openPangu-2.0-Flash (아직 Huggingface에 업로드되지 않았습니다)
요약
Ascend에서 개발한 92B 규모의 MoE 모델인 openPangu-2.0-Flash를 소개합니다. 512k의 긴 컨텍스트 길이를 지원하며, 통합 SFT와 강화학습(RL)을 통해 사고 능력을 최적화했습니다.
핵심 포인트
- 92B 파라미터 규모의 MoE 모델 (활성 파라미터 6B)
- 512k의 대규모 컨텍스트 길이 지원
- 34T 토큰의 방대한 사전 학습 데이터 활용
- SFT 및 강화학습을 통한 느린 사고/빠른 사고 능력 통합
openPangu-2.0-Flash는 Ascend에서 학습된 MoE (Mixture of Experts) 모델입니다. 이 모델은 총 92B (920억) 개의 파라미터를 보유하고 있으며, 활성화되는 파라미터는 6B (60억) 개입니다. 컨텍스트 길이 (context length)는 512k입니다. 총 사전 학습 (pretraining) 데이터는 34T (34조) 토큰을 포함합니다. 사후 학습 (Post-training) 과정에서 openPangu-2.0-Flash는 느린 사고와 빠른 사고 능력을 갖춘 통합 SFT (Supervised Fine-Tuning), 다수의 전문가 RL (Reinforcement Learning, 강화학습) 학습, 그리고 여러 RL 전문가를 결합한 온폴리시 증류 (on-policy distillation)를 통해 학습되었습니다.
submitted by /u/External_Mood4719
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0