Huawei, OpenPangu-2.0-Flash 오픈 소스 공개 - 총 92B, 활성 6B 파라미터
요약
Huawei가 512K 컨텍스트 길이를 지원하는 OpenPangu-2.0-Flash 모델을 오픈 소스로 공개했습니다. 이 모델은 총 92B 파라미터 중 6B만 활성화되는 구조이며, 가중치와 추론 및 학습 코드가 함께 제공됩니다.
핵심 포인트
- OpenPangu-2.0-Flash 모델 오픈 소스 공개
- 512K의 긴 컨텍스트 창 지원
- 총 92B 파라미터 중 6B 활성 구조(MoE 방식)
- 가중치, 추론 코드, 학습 작업 포함 공개
- 7월 중 505B 규모의 Pro 모델 출시 예정
오늘: #Huawei가 OpenPangu-2.0-Flash를 오픈 소스로 공개했습니다.
#OpenPangu 2.0에는 두 가지 512K-컨텍스트 (context) 모델이 포함됩니다:
• Flash: 총 92B, 활성 6B — 가중치 (Weights) + 추론 (inference) 코드 + 학습 (training) 작업 공개
• Pro: 총 505B, 활성 18B — 플래그십 (flagship) 모델, 7월 출시 예정
올해 말 더 많은 오픈 소스 구성 요소가 공개될 예정입니다.
https://preview.redd.it/29tji3note1.png?width=1446&format=png&auto=webp&s=836b711cc97c5efb3d37126105a11a7d20c49ca2
https://x.com/CalatheaAI/status/2071917592810496273
/u/soteko 에 의해 제출됨
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기