ExLlamaV3 v1.0.0 - 주요 성능 업그레이드

요약

ExLlamaV3 v1.0.0이 프로덕션 버전으로 출시되며 대규모 성능 개선을 이루었습니다. 주요 업데이트에는 flash-attention-2 및 xformers 의존성 제거, Gemma4 포함 다수 모델의 텐서 병렬 지원 확장 등이 포함되었습니다. 또한 KV 양자화로 인한 속도 저하를 해결하고 다양한 최적화 커널이 추가되어 전반적인 성능과 안정성이 크게 향상되었습니다.

핵심 포인트

• ExLlamaV3 v1.0.0 프로덕션 출시
• flash-attention-2 및 xformers 의존성 제거
• Gemma4 포함 다수 모델 텐서 병렬 지원 확장
• KV 양자화 속도 저하 문제 해결