요약

이번 패치 릴리스 v5.8.1은 주로 Deepseek V4 통합 관련 버그 수정을 목적으로 합니다. 주요 수정 사항으로는 ContinuousBatchingManager의 fatal_error 처리 추가, WeightConverter의 shared_experts 매칭 오류 수정, 그리고 Deepseek V4 자체 및 csa mask collapse 문제에 대한 여러 개선 작업이 포함되어 있습니다.

핵심 포인트

• ContinuousBatchingManager에 fatal_error 처리가 추가되었습니다.
• WeightConverter가 shared_experts를 experts로 잘못 매칭하는 문제가 수정되었습니다.
• Deepseek V4 관련 전반적인 버그 수정 및 안정화 작업이 진행되었습니다.
• Deepseek v4의 csa mask collapse 문제를 해결했습니다.