b9055

요약

이 기술 기사는 Mimo v2.5 모델을 지원하기 위한 업데이트 내용을 담고 있습니다. 주요 수정 사항으로는 `modify_tensors`의 행 분할 문제 해결, 어텐션 가중치 스케일링(attn_value scale) 누락 처리, 그리고 TP (Tensor Parallelism) 반복 순서 조정 등이 포함됩니다. 또한, Mimo v2.5 모델에 대한 GGUF 변환 및 다양한 운영체제/하드웨어 아키텍처(macOS, Linux, Windows, Android 등)에서의 지원을 확장하고 최적화하는 작업이 이루어졌습니다.

핵심 포인트

• Mimo v2.5 모델의 공식 지원 추가와 관련 버그 수정 및 기능 개선이 이루어짐.
• 기술적인 수정 사항으로는 텐서 처리(modify_tensors), 어텐션 가치 스케일링, 그리고 분산 컴퓨팅 환경에서의 TP 반복 순서 조정 등이 포함됨.
• GGUF 포맷 변환기(`convert_hf_to_gguf.py`)가 업데이트되어 Mimo v2.5 모델의 가중치를 통합함.
• macOS, Linux, Windows 등 광범위한 플랫폼과 다양한 백엔드(CUDA, ROCm, OpenVINO, SYCL 등)에 대한 지원이 확장 및 최적화됨.