ZAYA1-74B-Preview 출시 및 AMD 기반 사전 학습 성과

요약

Zyphra가 AMD Instinct MI300X GPU와 IBM Cloud의 AMD Pensando Pollara 네트워킹을 활용하여 사전 학습한 ZAYA1-74B-Preview 모델을 공개했습니다. 이 모델은 AMD 기반의 대규모 사전 학습이 효과적임을 입증하며, Apache 2.0 라이선스로 배포됩니다.

핵심 포인트

• AMD Instinct MI300X GPU를 사용하여 엔드 투 엔드 사전 학습을 완료함
• pass@1과 pass@4 사이의 격차를 통해 사고의 다양성을 확보하고 강화학습(RL)의 잠재력을 확인
• AMD 하드웨어를 통한 대규모 사전 학습의 실행 가능성과 효과성을 입증
• Apache 2.0 라이선스로 모델 가중치 공개