Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
X @zyphraai (자동 발견) 17건필터 해제
X요약
ZONOS2 업데이트 소식을 공유하게 되어 기쁩니다
ZONOS2의 새로운 업데이트 소식을 발표하며, 표현력이 풍부한 음성 및 다국어 출력 기능을 포함한 데모를 공개했습니다. 로컬 추론 코드와 기술 보고서가 함께 제공되며, 새로운 가격 정책과 향상된 동시성 지원을 특징으로 합니다.
2시간 전0
X요약
Zyphra가 지속 학습 (Continual Learning)에 관한 첫 번째 연구를 공유합니다: LLM은 새로운 데이터로부터 영원히 학습할
Zyphra가 LLM의 지속 학습(Continual Learning) 가능성을 탐구한 첫 번째 연구를 발표했습니다. 모델이 새로운 데이터로부터 지속적으로 학습할 수 있는지와 가소성 상실(Plasticity Loss)이 발생하는 시점에 대한 스케일링 법칙을 다룹니다.
6월 24일0
X요약
Zyphra Research, 표준 트랜스포머를 넘어선 아키텍처 혁신 지속
Zyphra Research가 표준 트랜스포머의 한계를 넘어서는 아키텍처 혁신을 지속하고 있음을 발표했습니다. 이번에 Zamba2-VL이라는 새로운 모델을 출시했으며, 이는 기존 Zamba2 하이브리드 SSM-Transformer 구조를 비전-언어 모델링(VLM) 영역으로 확장한 것입니다.
6월 10일0
X요약
우리가 해결해야 했던 두 가지 MoE-VLM 학습 과제
Zyphra는 MoE-VLM 학습 과정에서 발생하는 배치 크기 붕괴와 라우팅 불안정성 문제를 해결한 ZAYA1-VL-8B 모델을 공개했습니다. 시각 토큰 전용 LoRA 어댑터를 도입하여 새로운 전문가 학습 없이도 모델에 시각적 역량을 효율적으로 부여했습니다. 해당 모델은 Apache 2.0 라이선스로 공개되었습니다.
5월 21일0
X요약
ZAYA1-74B-Preview 출시 및 AMD 기반 사전 학습 성과
Zyphra가 AMD Instinct MI300X GPU와 IBM Cloud의 AMD Pensando Pollara 네트워킹을 활용하여 사전 학습한 ZAYA1-74B-Preview 모델을 공개했습니다. 이 모델은 AMD 기반의 대규모 사전 학습이 효과적임을 입증하며, Apache 2.0 라이선스로 배포됩니다.
5월 21일0
X요약
ZAYA1-74B-Preview가 Apache 2.0 라이선스로 출시되었습니다.
Zyphra에서 Apache 2.0 라이선스를 채택한 ZAYA1-74B-Preview 모델을 새롭게 출시했습니다. 해당 모델의 가중치는 Hugging Face를 통해 공개되어 누구나 접근할 수 있습니다.
5월 21일0
X요약
Apache 2.0 라이선스로 ZAYA1-VL-8B를 출시합니다.
Zyphra가 Apache 2.0 라이선스로 소형 MoE 기반 시각-언어 모델인 ZAYA1-VL-8B를 출시했습니다. 이 모델은 이미지 토큰에 양방향 어텐션을 적용하고 시각 전용 LoRA를 도입하여 높은 지능 밀도와 추론 효율성을 달성했습니다. 특히 OCR, 문서 추론, GUI 상호작용에 탁월하여 컴퓨터 사용 에이전트를 위한 강력한 소형 VLM으로 설계되었습니다.
5월 21일0
X요약
MI300X에서 TSP는 테스트된 어떤 방식보다도 가장 낮은 메모리 사용량을 보입니다
MI300X 환경에서 TSP 방식은 테스트된 모든 방법 중 가장 낮은 메모리 사용량을 보여줍니다. 특히 64K 컨텍스트에서는 가중치(weight)와 활성화(activation) 모두를 효율적으로 처리하여 기존 TP(Tensor Parallelism)의 장점과 SP(Sparsity Parallelism)의 장점을 결합합니다. 이로 인해 TSP는 높은 처리량(throughput)을 제공하며, 128K 토큰 컨텍스트에서 173M tok/sec라는 우수한 성능을 기록했습니다.
5월 15일0
X요약
TSP는 더 높은 처리량 (throughput)을 제공합니다. 1024 MI300X GPU - 128K 토큰의 컨텍스트 - 모델 복사본당 8
TSP(Throughput Scaling)는 기존의 EP 및 PP 방식과 함께 사용될 수 있는 새로운 접근 방식입니다. 이 기술은 1024 MI300X GPU와 128K 토큰 컨텍스트를 활용하여 모델 복사본당 높은 처리량을 제공하는 것이 특징입니다.
5월 15일1
X요약
Folded Tensor and Sequence Parallelism (TSP) 소개: 대규모 모델을 GPU에 분할하는 새로운 방식
Folded Tensor and Sequence Parallelism (TSP)은 Tensor Parallelism(TP)과 Sequence Parallelism(SP)을 동일한 장치 축으로 결합하여 GPU 메모리 효율을 극대화하는 새로운 병렬화 방식입니다. 이 방식은 모델 복제본을 단일 노드 내의 GPU들로 압축하여 노드 간 통신 지연을 줄이고, 대규모 모델과 긴 컨텍스트 환경에서 높은 처리량을 제공합니다.
5월 15일1
X요약
Zyphra Cloud 소개: AMD 기반의 풀스택 (Full stack) AI 플랫폼
Zyphra Cloud는 AMD 기반의 풀스택 AI 플랫폼을 소개하며, 특히 긴 호흡의 에이전트 워크로드에 특화된 서버리스 추론 서비스를 제공합니다. 이 서비스는 프런티어 오픈 웨이트 모델을 지원하며, @TensorWave의 @AMD MI355X GPU를 기반으로 구동됩니다.
5월 15일1
X요약
오늘 저희의 첫 번째 시각-언어 모델 (Vision-Language Model)인 ZAYA1-VL-8B를 출시합니다.
새로운 시각-언어 모델(Vision-Language Model, VLM)인 ZAYA1-VL-8B가 출시되었습니다. 이 모델은 AMD에서 학습된 ZAYA1-8B 베이스를 기반으로 구축되었으며, 700M active / 8B total MoE 구조를 채택했습니다. 이를 통해 모델 크기 대비 높은 성능과 뛰어난 지능 밀도 및 추론 효율성을 구현했다고 설명합니다.
5월 15일3
X요약
ZAYA1-VL-8B는 많은 경쟁사들이 사용하는 수조 개의 토큰과 달리 약 1,400억 개의 멀티모달 (multimodal) 토큰으로
Zyphra가 AMD 기반의 8B MoE(Mixture-of-Experts) 구조를 가진 시각-언어 모델 ZAYA1-VL-8B를 출시했습니다. 이 모델은 수조 개의 토큰 대신 1,400억 개의 고품질 멀티모달 토큰을 사용하여 높은 지능 밀도와 추론 효율성을 달성했습니다.
5월 15일2
X요약
ZAYA1-VL-8B는 몇 안 되는 소형 MoE VLM 중 하나입니다. 대부분의 VLM은 Dense 모델인 반면, 대부분의 MoE VLM은
ZAYA1-VL-8B는 소형 MoE(Mixture-of-Experts) VLM 중 하나로, 대부분의 VLM이 Dense 모델이고 다른 MoE VLM은 크다는 한계를 극복했습니다. 이 모델은 특히 멀티모달 환경에서 소규모 스케일로 학습시키는 것이 어렵다는 도전 과제를 해결했음을 보여줍니다.
5월 15일2
X요약
Nvidia 해자의 큰 부분은 독점 소프트웨어인 CUDA입니다. DeepSeek는...
Nvidia의 핵심 경쟁력은 독점 소프트웨어 플랫폼인 CUDA에 있습니다. DeepSeek는 중국 시장에서 Huawei 칩을 활용하여, Zyphra는 서구권에서 AMD를 통해 이 영역에 도전하고 있음을 보여줍니다. 특히 Zyphra는 AMD Instinct MI355 GPU 용량을 갖춘 풀스택 네오클라우드(neocloud)인 Zyphra Cloud의 출시를 발표했습니다.
5월 15일0
X요약
단순한 속도를 넘어, 확산 (Diffusion) 모델은 좌측에서 우측으로 진행하는 자기회귀 (Left-to-right
확산(Diffusion) 모델은 단순한 속도 기반의 자기회귀 방식보다 더 풍부한 표현력을 가진 생성을 가능하게 하며, 저렴한 온폴리시 롤아웃을 지원합니다. 이는 강화학습(RL) 및 테스트 시간 연산 스케일링 측면에서 비용 효율적인 이점을 제공합니다. 곧 완전한 사후 학습(Post-trained) 확산 모델이 출시될 예정입니다.
5월 15일2
X요약
오늘 우리는 @AMD 가 지원하는 우리의 풀스택 네오클라우드 (full-stack neocloud)인 Zyphra Cloud를 통해 15MW의
AMD의 지원을 받는 풀스택 네오클라우드 솔루션인 Zyphra Cloud가 15MW 규모의 AMD Instinct MI355 GPU 용량을 제공함을 발표했습니다.
5월 15일2