v0.22.1
요약
이 기술 기사는 특정 소프트웨어 버전(v0.22.1)의 업데이트 내용을 요약하고 있습니다. 주요 변경 사항으로는 mlxrunner에서 샘플러 배치 기능 추가, 토크나이저의 다중 정규식 BPE 오프셋 처리 수정, 그리고 mlx가 NVIDIA TensorRT 모델 최적화 임포트를 지원하게 된 점 등이 포함됩니다. 또한, 앱 서버 및 다양한 모델 관련 개선사항들이 적용되었습니다.
핵심 포인트
- mlxrunner에 샘플러 배치 기능이 추가되어 여러 시퀀스 처리가 효율적으로 가능해졌습니다.
- 토크나이저가 다중 정규식 BPE 오프셋 처리 문제를 수정하여 안정성이 향상되었습니다.
- mlx 프레임워크가 NVIDIA TensorRT 모델 최적화 임포트를 지원하게 되어 엔비디아 하드웨어 활용도가 높아졌습니다.
- 모델 배치(batching)를 위한 전반적인 지원이 강화되었으며, 새로운 모델들이 추가되었습니다.
What's Changed
mlxrunner: batch the sampler across multiple sequences by @jessegross in #15736
tokenizer: fix multi-regex BPE offset handling by @dhiltgen in #15844
mlx: Support NVIDIA TensorRT Model Optimizer import by @dhiltgen in #15566
app/server: fix desktop app startup killing active ollama launch sessions by @hoyyeva in #15657
Model support for batching by @jessegross in #15814
New models by @dhiltgen in #15861
Full Changelog : v0.21.3-rc0...v0.22.1-rc0
AI 자동 생성 콘텐츠
본 콘텐츠는 Ollama Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기