Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
X @zyphraai (자동 발견) 9건필터 해제
TSP는 더 높은 처리량 (throughput)을 제공합니다. 1024 MI300X GPU - 128K 토큰의 컨텍스트 - 모델 복사본당 8
TSP(Throughput Scaling)는 기존의 EP 및 PP 방식과 함께 사용될 수 있는 새로운 접근 방식입니다. 이 기술은 1024 MI300X GPU와 128K 토큰 컨텍스트를 활용하여 모델 복사본당 높은 처리량을 제공하는 것이 특징입니다.
Folded Tensor and Sequence Parallelism (TSP) 소개: 대규모 모델을 GPU에 분할하는 새로운 방식
Folded Tensor and Sequence Parallelism (TSP)은 Tensor Parallelism(TP)과 Sequence Parallelism(SP)을 동일한 장치 축으로 결합하여 GPU 메모리 효율을 극대화하는 새로운 병렬화 방식입니다. 이 방식은 모델 복제본을 단일 노드 내의 GPU들로 압축하여 노드 간 통신 지연을 줄이고, 대규모 모델과 긴 컨텍스트 환경에서 높은 처리량을 제공합니다.
Zyphra Cloud 소개: AMD 기반의 풀스택 (Full stack) AI 플랫폼
Zyphra Cloud는 AMD 기반의 풀스택 AI 플랫폼을 소개하며, 특히 긴 호흡의 에이전트 워크로드에 특화된 서버리스 추론 서비스를 제공합니다. 이 서비스는 프런티어 오픈 웨이트 모델을 지원하며, @TensorWave의 @AMD MI355X GPU를 기반으로 구동됩니다.
오늘 저희의 첫 번째 시각-언어 모델 (Vision-Language Model)인 ZAYA1-VL-8B를 출시합니다.
새로운 시각-언어 모델(Vision-Language Model, VLM)인 ZAYA1-VL-8B가 출시되었습니다. 이 모델은 AMD에서 학습된 ZAYA1-8B 베이스를 기반으로 구축되었으며, 700M active / 8B total MoE 구조를 채택했습니다. 이를 통해 모델 크기 대비 높은 성능과 뛰어난 지능 밀도 및 추론 효율성을 구현했다고 설명합니다.
ZAYA1-VL-8B는 많은 경쟁사들이 사용하는 수조 개의 토큰과 달리 약 1,400억 개의 멀티모달 (multimodal) 토큰으로
Zyphra가 AMD 기반의 8B MoE(Mixture-of-Experts) 구조를 가진 시각-언어 모델 ZAYA1-VL-8B를 출시했습니다. 이 모델은 수조 개의 토큰 대신 1,400억 개의 고품질 멀티모달 토큰을 사용하여 높은 지능 밀도와 추론 효율성을 달성했습니다.
ZAYA1-VL-8B는 몇 안 되는 소형 MoE VLM 중 하나입니다. 대부분의 VLM은 Dense 모델인 반면, 대부분의 MoE VLM은
ZAYA1-VL-8B는 소형 MoE(Mixture-of-Experts) VLM 중 하나로, 대부분의 VLM이 Dense 모델이고 다른 MoE VLM은 크다는 한계를 극복했습니다. 이 모델은 특히 멀티모달 환경에서 소규모 스케일로 학습시키는 것이 어렵다는 도전 과제를 해결했음을 보여줍니다.
Nvidia 해자의 큰 부분은 독점 소프트웨어인 CUDA입니다. DeepSeek는...
Nvidia의 핵심 경쟁력은 독점 소프트웨어 플랫폼인 CUDA에 있습니다. DeepSeek는 중국 시장에서 Huawei 칩을 활용하여, Zyphra는 서구권에서 AMD를 통해 이 영역에 도전하고 있음을 보여줍니다. 특히 Zyphra는 AMD Instinct MI355 GPU 용량을 갖춘 풀스택 네오클라우드(neocloud)인 Zyphra Cloud의 출시를 발표했습니다.
단순한 속도를 넘어, 확산 (Diffusion) 모델은 좌측에서 우측으로 진행하는 자기회귀 (Left-to-right
확산(Diffusion) 모델은 단순한 속도 기반의 자기회귀 방식보다 더 풍부한 표현력을 가진 생성을 가능하게 하며, 저렴한 온폴리시 롤아웃을 지원합니다. 이는 강화학습(RL) 및 테스트 시간 연산 스케일링 측면에서 비용 효율적인 이점을 제공합니다. 곧 완전한 사후 학습(Post-trained) 확산 모델이 출시될 예정입니다.
오늘 우리는 @AMD 가 지원하는 우리의 풀스택 네오클라우드 (full-stack neocloud)인 Zyphra Cloud를 통해 15MW의
AMD의 지원을 받는 풀스택 네오클라우드 솔루션인 Zyphra Cloud가 15MW 규모의 AMD Instinct MI355 GPU 용량을 제공함을 발표했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.