요약

이 버전(v0.22.1)은 여러 주요 업데이트를 포함하고 있으며, 특히 mlxrunner에서 여러 시퀀스에 대한 샘플러 배치 처리를 지원하도록 개선되었습니다. 또한 토크나이저의 다중 정규식 BPE 오프셋 처리 수정, NVIDIA TensorRT Model Optimizer 가져오기 지원 등 모델 및 인프라 관련 기능들이 강화되었습니다. 전반적으로 모델 배포와 성능 최적화에 초점을 맞춘 업데이트입니다.

핵심 포인트

• mlxrunner가 여러 시퀀스에 대한 샘플러 배치 처리를 지원하여 효율성이 향상되었습니다.
• 토크나이저에서 다중 정규식 BPE 오프셋 처리 로직이 수정되어 정확도가 높아졌습니다.
• NVIDIA TensorRT Model Optimizer 가져오기 기능이 추가되어 모델 최적화 및 배포가 용이해졌습니다.
• 데스크톱 앱 시작 시 발생하던 활성 `ollama launch` 세션 종료 문제가 해결되었습니다.