패치 릴리스 v5.14.1
요약
이번 패치 릴리스 v5.14.1은 Inkling 모델 통합 과정에서 발생한 여러 기술적 문제를 해결합니다. 특히 assisted generation 시 EncoderDecoderCache 사용 문제와 position_bias를 사용하는 StaticCache 및 sdpa prefill 관련 오류가 수정되었습니다.
핵심 포인트
- Inkling 모델 통합 관련 버그 수정
- assisted generation의 EncoderDecoderCache 문제 해결
- position_bias 기반 sdpa prefill 과정 안정화
패치 릴리스 v5.14.1
이 패치는 Inkling 모델 통합 시 발생한 몇 가지 문제를 해결하며, 특히 assisted generation 중 EncoderDecoderCache를 사용하는 모델에 영향을 미치는 문제가 가장 두드러집니다. 또한 position_bias를 사용하는 Inkling의 StaticCache 및 sdpa prefill 과정에서 나타날 수 있는 문제도 수정합니다.
이 패치에는 다음 커밋들이 포함되어 있습니다:
- position_bias를 사용한 sdpa prefill 수정 (#47359) by @Cyrilvallez
- EncoderDecoder 캐시 및 OlmoHybrid를 사용하는 모델의 assisted decoding 수정 (#47361) by @Cyrilvallez
- [FP8] 커널 버전 상향 조정 (#47344) by @vasqu
- 여러 장치에서의 deepgemm 수정 (#47323) by @IlyasMoutawwakil
AI 자동 생성 콘텐츠
본 콘텐츠는 HuggingFace Transformers Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0