개발 기간 1년이 넘는 시간 끝에 ExLlamaV3의 첫 프로덕션(production) 출시가 이루어졌습니다.
Turboderp가 Fable과 함께 10시간씩 매진하여 저희에게 이 대규모 개선 패치를 가져다주었습니다. 상세한 성능 지표와 그에 대한 글은 여기서 확인해 보세요.

주요 변경 사항 중 일부:

• flash-attention-2 및 xformers 의존성 제거
• Gemma4를 포함하여 대부분의 모델로 텐서 병렬(tensor-parallel) 지원 확장
• 온라인 캐시 양자화(online cache quantization), SWA 레이어와 어텐션 싱크에 대한 이중 입력이 가능한 새로운 어텐션 커널; KV 양자화로 인한 속도 저하가 사라졌으며 (심지어 추론 속도를 높일 수도 있습니다)
• 모든 attn/GDN 모듈을 위한 그래프 경로
• 새로운 conv1d 커널 (causal_conv1d 지원/필요성 제거)
• Ampere에서 GEMM/GEMV 성능 대폭 개선
• 새로운 INT8 GEMV 커널
• 새로운 MoE 커널 티켓 스케줄러 추가
• GptOssForCausalLM 추가
• NemotronHForCausalLM 추가
• 다수의 사소한 최적화
• 더 많은 버그 수정
• 더 많은 QoL(Quality of Life) 개선 사항들
• 컴파일 유닛이 늘어나면서 확장 빌드 속도 향상

질문이 있거나, 그냥 들러서 이야기를 나누고 Turbo를 축하하고 싶다면 exllama 디스코드에 참여하세요.
/u/Unstable_Llama 님이 제출함
[link] [comments]