Diffuspace/Clover-35B-A3B-Preview · Hugging Face

요약

DiffuSpace가 출시한 첫 번째 모델인 Clover-35B-A3B-Preview를 소개합니다. 이 모델은 오픈 소스 확산 언어 모델 중 최고 수준의 성능을 보여주며, 벤치마크에서 그 우수성을 입증했습니다. 350억 개 매개변수의 MoE 백본과 128K 컨텍스트 창 등 첨단 기술이 결합된 것이 특징입니다.

핵심 포인트

• DiffuSpace의 첫 모델인 Clover-35B-A3B-Preview 출시.
• 오픈 소스 확산 언어 모델 중 최고 성능을 기록함.
• 350억 개 매개변수 MoE 백본 구조를 채택함.
• 128K에 달하는 대용량 컨텍스트 창을 제공함.