MiMo-V2.5( #22812 ) 지원하기 위해 Flash Attention MMA / Tiles 추가 mimo-v2.5: d_kq=192,

요약

이 기술 기사는 MiMo-V2.5 모델을 지원하기 위해 Flash Attention MMA/Tiles 기능을 추가하고 관련 최적화를 수행한 내용을 담고 있습니다. 구체적으로 d_kq=192, d_v=128 설정을 위한 flash attention mma/tiles 구현과 (256, 256) fattn 템플릿 적용이 주요 작업입니다. 또한 GQA 처리 수정, 다양한 아키텍처(macOS, Linux, Android, Windows 등) 및 백엔드 환경에 대한 광범위한 테스트와 업데이트가 이루어졌습니다.

핵심 포인트

• MiMo-V2.5 모델 지원을 위해 Flash Attention MMA/Tiles 기능을 추가하여 성능 최적화를 달성했습니다.
• d_kq=192, d_v=128 등 특정 차원 설정을 위한 flash attention mma/tiles 구현이 핵심입니다.
• GQA 처리 수정 및 다양한 아키텍처(CPU, GPU, OS별)에 대한 광범위한 테스트 커버리지를 확보했습니다.
• macOS, Linux, Windows, Android 등 주요 플랫폼 전반에 걸쳐 최신 라이브러리 및 환경을 지원하도록 업데이트되었습니다.