Sim-FA: 비동기 파이프라인을 위한 시뮬레이터 프론트엔드

요약

본 논문은 대규모 언어 모델(LLMs)의 효율적인 지원을 위해 도입된 워프 특화와 같은 새로운 GPGPU 아키텍처 기능을 반영하는 시뮬레이션 파이프라인, Sim-FA를 제안합니다. 기존 학술 도구들이 최신 GPU 기능(예: TMA)이나 작업 특성(예: DRAM 트래픽)을 정확하게 포착하지 못하는 한계를 극복하고자 합니다. Sim-FA는 FlashAttention-3 커널 인스트루멘테이션부터 사이클 정확도 시뮬레이션까지 통합하여, H800 대비 낮은 오차율로 높은 정확도를 입증했습니다.

핵심 포인트

• LLM 효율성 향상을 위해 GPGPU 아키텍처는 워프 특화 등 새로운 프로그래밍 패러다임을 도입하고 있다.
• 효과적인 AI 인프라 연구를 위해서는 최신 기능을 지원하는 사이클 정확도 시뮬레이터와 분석 모델이 필수적이다.
• 기존 학술 도구들은 NVIDIA의 TMA 같은 신규 GPU 기능 통합이나 DRAM 트래픽 추정에서 부정확성을 보인다.
• 제안된 Sim-FA는 FlashAttention-3 커널 인스트루멘테이션부터 사이클 정확도 시뮬레이션까지 포괄하는 파이프라인을 구축했다.
• Sim-FA는 H800 대비 낮은 평균 절대 백분율 오차(MAPE 5.7%)를 달성하며 높은 정확도를 입증했다.