본문으로 건너뛰기
X요약2026. 11. 15. 15:25
Zyphra가 ZOE를 통해 AMD Instinct MI355X GPU에 대한 2차 추론 최적화 공개 대표 이미지

Zyphra가 ZOE를 통해 AMD Instinct MI355X GPU에 대한 2차 추론 최적화 공개

원문 발행 2026. 10. 21. 02:25원문 언어 영어AI 한국어 번역X @zyphraai (자동 발견) 원문 보기

요약

Zyphra는 ZOE(Zyphra Optimization Engine)를 기반으로 AMD Instinct MI355X GPU에 대한 2차 추론 최적화를 공개했습니다. 이 엔진은 장문맥 서비스와 Mixture-of-Experts(MoE) 모델 처리 시 성능을 크게 개선하여, 컨텍스트 재사용 및 커널 작업을 통해 토큰 생성 속도를 획기적으로 높였습니다.

핵심 포인트

  • ZOE 사용 시 장문맥 MoE 모델의 첫 토큰 생성 시간이 최대 3.6배 감소했습니다.
  • 인덱서 커널은 희소 어텐션 과정에서 다음 키를 로드하는 핵심 역할을 수행합니다.
  • 1M 컨텍스트 환경에서 디코딩 속도가 43.5 토큰/초에서 61.1 토큰/초로 증가했습니다.
  • 결합된 MoE 커널은 vLLM의 Triton 커널보다 최대 2배 더 빠른 성능을 보였습니다.
  • FP4 양자화는 메모리 사용량을 줄이면서도 추론 성능 저하가 미미합니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 X @zyphraai (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0