저는 FlashAttention에 대한 짧은 튜토리얼 시리즈를 작성하고 있습니다. 이론부터 효율적인 CUDA 커널까지 다룰 예정입니다.
1부에서는 이론적 기반을 다룹니다. FlashAttention이 결합법칙(associative operation)을 가지는 연산임을 보여주는 현대 대수 형식론을 통해, 이를 GPU 상의 일반적인 축소(reduction) 연산으로 취급하고 모든 동일한 스케줄링 최적화를 적용할 수 있게 하는 과정을 설명합니다. 최근 MLSys 및 CVPR 논문들 중 일부가 이 틀에 의존하고 있으며, 저는 이것이 원래 방식보다 훨씬 강력하다고 생각합니다.

개요:

안전 소프트맥스(Safe softmax), 웰포드 분산(Welford's variance), 그리고 FlashAttention은 비밀스럽게 결합법칙을 가지는 동일한 연산입니다.
꼬인 모노이드(twisted monoid) (구조의 전달): 왜 max-rescale 커플링이 결합법칙을 깨뜨리지 않는지
$qk_{scale} = ext{log2}(e)/ ext{√D}$가 FA-2에서 처음부터 파생되는 과정
수치 해석: 오버플로우 경계, 오류 한계, 그리고 타일링(tiling)이 절대 오류를 증폭시키지 않는 이유
Bird의 3번째 준동형 정리(Homomorphism Theorem): 어떤 루프가 비밀스럽게 결합법칙을 가지는지 테스트하는 방법

제출자: /u/NoVibeCoding [링크] [댓글]