b9000

요약

이 기술 기사는 Hexagon 프로세서 아키텍처에서 대규모 언어 모델(LLM)의 핵심 연산인 플래시 어텐션(Flash Attention) 및 행렬 곱셈(Matmul) 성능을 극대화하기 위한 최적화 작업들을 다룹니다. 주요 개선 사항으로는 Q6_ 인트린식으로의 아셈블리 코드 전환, 여러 HMX 워커에 대한 상류 최적화 적용, 그리고 Q 로드/O 스토어 작업을 멀티 스레딩 및 병렬 처리로 분산하는 것이 포함됩니다. 또한, 다양한 시나리오(예: prefill, GQA)에서 어텐션 계산의 정확도를 높이고 파이프라인 효율성을 개선하기 위한 세부적인 수정들이 이루어졌습니다.

핵심 포인트

• Q6_ 인트린식으로 아셈블리 코드 전환을 통해 컴파일러 가시성 및 최적화 수준 향상
• Flash Attention 연산에 대한 상류(upstream) 최적화를 적용하여 성능과 효율성을 개선함
• Q 로드/O 스토어 작업을 멀티스레딩 워커 풀로 분산시켜 병렬 처리 능력을 극대화함
• 다양한 어텐션 모드(prefill, GQA 등)에서 정확도를 보장하고 파이프라인 게이트를 완화하여 호환성을 높임
• softmax 마스크 및 계산 과정에 대한 세부적인 최적화를 통해 연산 속도와 메모리 효율성 개선