Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
XAI 번역요약
ZONOS2 업데이트 소식을 공유하게 되어 기쁩니다
ZONOS2의 새로운 업데이트 소식을 발표하며, 표현력이 풍부한 음성 및 다국어 출력 기능을 포함한 데모를 공개했습니다. 로컬 추론 코드와 기술 보고서가 함께 제공되며, 새로운 가격 정책과 향상된 동시성 지원을 특징으로 합니다.
7월 6일0
XAI 번역요약
Zyphra가 지속 학습 (Continual Learning)에 관한 첫 번째 연구를 공유합니다: LLM은 새로운 데이터로부터 영원히 학습할
Zyphra가 LLM의 지속 학습(Continual Learning) 가능성을 탐구한 첫 번째 연구를 발표했습니다. 모델이 새로운 데이터로부터 지속적으로 학습할 수 있는지와 가소성 상실(Plasticity Loss)이 발생하는 시점에 대한 스케일링 법칙을 다룹니다.
6월 24일0
XAI 번역요약
Zyphra Research, 표준 트랜스포머를 넘어선 아키텍처 혁신 지속
Zyphra Research가 표준 트랜스포머의 한계를 넘어서는 아키텍처 혁신을 지속하고 있음을 발표했습니다. 이번에 Zamba2-VL이라는 새로운 모델을 출시했으며, 이는 기존 Zamba2 하이브리드 SSM-Transformer 구조를 비전-언어 모델링(VLM) 영역으로 확장한 것입니다.
6월 10일0
XAI 번역요약
우리가 해결해야 했던 두 가지 MoE-VLM 학습 과제
Zyphra는 MoE-VLM 학습 과정에서 발생하는 배치 크기 붕괴와 라우팅 불안정성 문제를 해결한 ZAYA1-VL-8B 모델을 공개했습니다. 시각 토큰 전용 LoRA 어댑터를 도입하여 새로운 전문가 학습 없이도 모델에 시각적 역량을 효율적으로 부여했습니다. 해당 모델은 Apache 2.0 라이선스로 공개되었습니다.
5월 21일0
XAI 번역요약
ZAYA1-74B-Preview 출시 및 AMD 기반 사전 학습 성과
Zyphra가 AMD Instinct MI300X GPU와 IBM Cloud의 AMD Pensando Pollara 네트워킹을 활용하여 사전 학습한 ZAYA1-74B-Preview 모델을 공개했습니다. 이 모델은 AMD 기반의 대규모 사전 학습이 효과적임을 입증하며, Apache 2.0 라이선스로 배포됩니다.
5월 21일0
XAI 번역요약
ZAYA1-74B-Preview가 Apache 2.0 라이선스로 출시되었습니다.
Zyphra에서 Apache 2.0 라이선스를 채택한 ZAYA1-74B-Preview 모델을 새롭게 출시했습니다. 해당 모델의 가중치는 Hugging Face를 통해 공개되어 누구나 접근할 수 있습니다.
5월 21일0
XAI 번역요약
Apache 2.0 라이선스로 ZAYA1-VL-8B를 출시합니다.
Zyphra가 Apache 2.0 라이선스로 소형 MoE 기반 시각-언어 모델인 ZAYA1-VL-8B를 출시했습니다. 이 모델은 이미지 토큰에 양방향 어텐션을 적용하고 시각 전용 LoRA를 도입하여 높은 지능 밀도와 추론 효율성을 달성했습니다. 특히 OCR, 문서 추론, GUI 상호작용에 탁월하여 컴퓨터 사용 에이전트를 위한 강력한 소형 VLM으로 설계되었습니다.
5월 21일0
XAI 번역요약
ZAYA1-VL-8B는 많은 경쟁사들이 사용하는 수조 개의 토큰과 달리 약 1,400억 개의 멀티모달 (multimodal) 토큰으로
Zyphra가 AMD 기반의 8B MoE(Mixture-of-Experts) 구조를 가진 시각-언어 모델 ZAYA1-VL-8B를 출시했습니다. 이 모델은 수조 개의 토큰 대신 1,400억 개의 고품질 멀티모달 토큰을 사용하여 높은 지능 밀도와 추론 효율성을 달성했습니다.
5월 15일2
XAI 번역요약
단순한 속도를 넘어, 확산 (Diffusion) 모델은 좌측에서 우측으로 진행하는 자기회귀 (Left-to-right
확산(Diffusion) 모델은 단순한 속도 기반의 자기회귀 방식보다 더 풍부한 표현력을 가진 생성을 가능하게 하며, 저렴한 온폴리시 롤아웃을 지원합니다. 이는 강화학습(RL) 및 테스트 시간 연산 스케일링 측면에서 비용 효율적인 이점을 제공합니다. 곧 완전한 사후 학습(Post-trained) 확산 모델이 출시될 예정입니다.
5월 15일2