Sim-FA: A GPGPU Simulator Framework for Fine-Grained FlashAttention Pipeline

요약

본 논문은 대규모 언어 모델(LLMs)의 효율적인 처리를 위해 도입된 와프 전문화와 같은 최신 GPGPU 아키텍처 기능을 지원하는 사이클 정확도 시뮬레이터 프레임워크인 Sim-FA를 제안합니다. 기존 학술 도구들이 새로운 GPU 기능(예: TMA)을 적시에 통합하지 못하고 DRAM 트래픽 추정에서 부정확성을 보이는 문제를 해결하고자 합니다. Sim-FA는 FlashAttention-3 커널 인스트루멘테이션부터 사이클 정확도 시뮬레이션까지의 전체 파이프라인을 구축했으며, H800과 비교하여 낮은 오차율(MAPE 5.7%)을 달성하며 그 성능을 입증했습니다.

핵심 포인트

• LLM 가속화를 위해 와프 전문화와 같은 새로운 GPGPU 아키텍처 기능이 도입되어 시간적 중첩 및 성능 향상을 가능하게 함.
• 기존 사이클 정확도 시뮬레이터는 최신 GPU 기능(예: TMA)을 적절히 통합하지 못하고, DRAM 트래픽 추정에서 부정확성을 보임.
• Sim-FA는 FlashAttention-3 커널 인스트루멘테이션부터 사이클 정확도 시뮬레이션까지의 완전한 파이프라인을 제공하는 새로운 프레임워크임.
• 제안된 Sim-FA는 H800과 비교하여 낮은 오차율(MAPE 5.7%)로 높은 정확도를 달성했음을 입증함.