Zyphra의 ZOE를 활용한 장문맥 추론 가속화 기술 공개

요약

Zyphra는 ZOE(Zyphra Optimization Engine)를 활용하여 AMD Instinct MI355X GPU 기반의 장문맥 추론 최적화 기술을 공개했습니다. 이 커널은 MoE 모델의 희소 어텐션 인덱싱 및 디코딩 과정을 가속화하며, 512K 컨텍스트에서 첫 토큰 생성 시간을 크게 단축시켰습니다. 또한 vLLM 대비 성능 우위를 입증했습니다.

핵심 포인트

• ZOE를 통해 장문맥 추론 속도를 대폭 향상시키는 최적화 기술을 제시함.
• MoE 모델의 희소 어텐션 인덱싱 비용을 효율적으로 처리하여 가속화함.
• 512K 컨텍스트에서 첫 토큰 생성 시간이 최대 3.6배까지 감소하는 성능을 보임.
• 디코드 과정의 속도는 GPU 메모리 대역폭에 의해 제한되는 경향이 있음.