Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
XAI 번역요약
Zyphra Optimization Engine(ZOE)을 활용한 AMD Instinct MI355X GPU 추론 최적화 기술 공개
Zyphra는 ZOE를 활용하여 AMD Instinct MI355X GPU의 추론 최적화 기술을 공개했습니다. 이 커널은 장문맥 서빙 및 MoE 전문가 활용에 초점을 맞추어 vLLM 대비 최대 2배 빠른 성능 향상을 달성했습니다. 또한, FP4 양자화를 적용해 메모리 효율성과 속도를 개선했음을 입증했습니다.
2일 전0
XAI 번역요약
Folded Tensor and Sequence Parallelism (TSP) 소개: 대규모 모델을 GPU에 분할하는 새로운 방식
Folded Tensor and Sequence Parallelism (TSP)은 Tensor Parallelism(TP)과 Sequence Parallelism(SP)을 동일한 장치 축으로 결합하여 GPU 메모리 효율을 극대화하는 새로운 병렬화 방식입니다. 이 방식은 모델 복제본을 단일 노드 내의 GPU들로 압축하여 노드 간 통신 지연을 줄이고, 대규모 모델과 긴 컨텍스트 환경에서 높은 처리량을 제공합니다.
5월 15일2