Zyphra Optimization Engine(ZOE)을 활용한 AMD Instinct MI355X GPU 추론 최적화 기술 공개

요약

Zyphra는 ZOE를 활용하여 AMD Instinct MI355X GPU의 추론 최적화 기술을 공개했습니다. 이 커널은 장문맥 서빙 및 MoE 전문가 활용에 초점을 맞추어 vLLM 대비 최대 2배 빠른 성능 향상을 달성했습니다. 또한, FP4 양자화를 적용해 메모리 효율성과 속도를 개선했음을 입증했습니다.

핵심 포인트

• ZOE를 통해 MI355X GPU의 추론 최적화 기술을 선보임.
• 장문맥 서빙 시 스파스 어텐션 인덱서 비용 처리를 상세히 다룸.
• 통합 MoE 커널은 vLLM 대비 최대 2.0배 빠른 성능을 보임.
• FP4 양자화 적용으로 메모리 사용량을 줄이고 추론 속도를 개선함.