cuda: 288명의 전문가(experts)를 위한 topk-moe fusion 활성화 ([#25267](https://github.com/gg

요약

llama.cpp에서 288명의 전문가를 가진 MoE 모델을 위해 topk-moe fusion을 활성화하는 업데이트가 적용되었습니다. 이를 통해 디코드 단계에서 발생하는 불필요한 그래프 노드를 줄여 성능을 최적화합니다.

핵심 포인트

• 288명의 전문가를 가진 모델(Step-3.7-Flash 등)에서 MoE fusion 지원
• 디코드 라우팅 시 발생하는 약 330개의 추가 그래프 노드 제거
• 짧은 컨텍스트 환경에서 디코드 성능 약 2.4% 향상
• 컨텍스트가 길어질수록 어텐션 바운드 현상으로 인해 이득 감소