## 개요 이번 릴리스에서는 OCP FP8 E4M3 양자화(quantization) 지원, 다중 시퀀스 추론을 위해 통합 KV 캐시를 효율적으로

요약

이번 릴리스는 OCP FP8 E4M3 양자화 지원과 다중 시퀀스 추론을 위한 통합 KV 캐시를 도입하여 효율성을 높였습니다. ggml이 업데이트되어 CUDA, Metal 등 다양한 백엔드에서 배치 텐서 복사 API가 추가되었으며, Gemma 4 모델 최적화와 오디오 생성/전사 기능 확장도 이루어졌습니다.

핵심 포인트

• OCP FP8 E4M3 양자화를 지원하여 메모리 효율성을 높였습니다.
• 통합 KV 캐시(`flash_attn_ext_rows`)로 다중 시퀀스 추론이 최적화되었습니다.
• Metal, CUDA 등 다양한 백엔드에서 배치 텐서 복사 API가 구현되었습니다.
• Gemma 4 E2B/E4B 모델에 주요 프리필(prefill) 최적화가 적용되었습니다.