오늘 AMD 에서의 사전 학습 확장에서 중요한 이정표인 ZAYA1-74B-Preview 를 출시합니다.

요약

AMD가 사전 학습 확장의 중요한 이정표인 ZAYA1-74B-Preview를 공개했습니다. 이 미리보기 모델은 4B 활성 파라미터와 총 74B MoE(Mixture of Experts) 구조를 가지고 있습니다. 현재는 강력한 전 RL 기반 체크포인트 형태로 제공되며, 최종적으로 포스트 훈련된 추론 모델이 곧 출시될 예정입니다.

핵심 포인트

• AMD가 새로운 대규모 언어 모델(LLM)인 ZAYA1-74B-Preview를 발표했다.
• 해당 모델은 MoE(Mixture of Experts) 구조를 채택하여 4B 활성 파라미터와 총 74B의 규모를 가집니다.
• 현재는 전 RL 기반 체크포인트 형태로 제공되며, 추론에 최적화된 최종 버전이 곧 출시될 예정이다.