대규모 언어 모델 (LLMs) 을 효율적으로 지원하기 위해 현대적인 GPGPU 아키텍처는 워프 특화 (warp specialization) 와 같은 새로운 기능 및 프로그래밍 패러다임을 도입했습니다. 이러한 기능은 프로듀서와 소비자 간의 시간적 중첩, 그리고 행렬 곱셈과 활성화 함수 연산 간의 시간적 중첩을 가능하게 하여 성능을 크게 향상시킵니다. 효과적인 AI 인프라 및 컴퓨터 아키텍처 연구를 수행하기 위해서는 이러한 새로운 기능을 지원하는 사이클 정확도 시뮬레이터와 작업 특성을 충실히 포착하는 분석 모델이 필수적입니다. 그러나 기존의 학술 도구는 이러한 새로워진 요구사항에 대한 지원이 제한적입니다. 기존의 사이클 정확도 시뮬레이터는 텐서 메모리 가속기 (TMA) 와 같은 새로운 NVIDIA GPU 기능을 적시에 통합하지 않습니다. 또한, 기존의 분석 모델은 특정 구성에서 DRAM 트래픽을 오산할 수 있습니다. 본 논문에서는 FlashAttention-3 커널 인스트루멘테이션부터 사이클 정확도 시뮬레이션까지 시뮬레이션 파이프라인을 구축했습니다. 시뮬레이터는 H800 과 비교하여 평균 절대 백분율 오차 (MAPE) 를 5.7% 로, 최대 절대 백분율 오차를 12.7% 로 달성했습니다. 또한 FlashAttention-3 의 이론적 분석을 제공하며, 기존 분석 모델이 왜 부정확한 트래픽 추정을 할 수 있는지 설명합니다.