b11843: qwen4exp : kq_mask 없이 QSA 선택 구축 (#30965)

요약

본 기술 문서는 Qwen4exp 모델의 어텐션 메커니즘 최적화에 관한 내용을 다룹니다. 핵심은 복잡한 kq_mask 없이도 Query-Key Selection (QSA)을 효율적으로 선택 구축하는 방법을 구현하는 것입니다. 여러 스트림 환경에서 발생하던 형태 단언 실패 문제를 해결하고, 마스크 빌드 함수를 업데이트하여 모델의 일관성과 성능을 개선했습니다.

핵심 포인트

• kq_mask 없이 Qwen4exp에서 QSA 선택 구조를 구축함.
• 여러 스트림 환경에서의 그래프 예약 단계 형태 단언 실패 문제를 해결함.
• build_attn_qsa가 요구하는 복잡한 마스크 레이아웃을 처리함.
• 최적화를 위해 build_fused_top_k_mask 업데이트가 필요함.