Alibaba와 난징 대학교(Nanjing Univ)는 긴 문맥(Long-context) LLM 추론의 핵심 병목 구간을 겨냥하여, FlashAttention-2 대비 9.36배 빠른 백만 토큰 프리필(Prefill) 성능을 구현했다고 주장했습니다.

Alibaba와 난징 대학교는 FlashAttention-2와 비교했을 때 백만 토큰 프리필(Prefill) 속도가 9.36배 향상되었다는 논문을 발표했습니다. 이 연구는 어텐션(Attention) 연산이 시퀀스 길이(Sequence length)에 따라 제곱으로 증가하는 긴 문맥 LLM 추론의 프리필(Prefill) 단계를 목표로 합니다.

주요 사실

• FlashAttention-2 대비 9.36배 속도 향상 주장
• 백만 토큰 프리필(Prefill) 단계를 목표로 함
• Alibaba DAMO Academy와 난징 대학교(Nanjing Univ)의 협업
• A100 GPU에서 측정됨
• 2023년 출시된 FlashAttention-2를 베이스라인으로 사용

프리필(Prefill) 단계—LLM이 토큰을 생성하기 전 전체 입력 프롬프트를 처리하는 초기 단계—는 문서 분석, 코드베이스 추론, 검색 증강 생성(RAG)과 같은 애플리케이션에서 지연 시간(Latency)의 주요 병목 현상이 되었습니다. 백만 토큰 프롬프트의 경우, 표준 어텐션(Standard attention)은 $O(N^2)$의 연산을 요구하므로 고성능 하드웨어에서도 실행이 비실용적입니다.

2023년 Stanford와 Tri Dao가 발표한 FlashAttention-2는 타일링(Tiling) 및 IO 인식(IO-aware) 알고리즘을 통해 표준 어텐션 대비 최대 2배의 속도 향상을 이미 달성했습니다. FlashAttention-3는 이를 H100 GPU와 FP8 지원으로 확장했지만, 100K(10만) 토큰 이상의 시퀀스에서는 프리필(Prefill)이 여전히 주요한 지연 시간 제약 요소로 남아 있습니다.

[ @rohanpaul_ai 에 따르면 ] 프리프린트(Preprint)에 상세히 기술된 이 새로운 방법은 프리필(Prefill) 시간을 한 자릿수(An order of magnitude) 수준으로 줄일 수 있다고 주장합니다. 논문의 저자에는 Alibaba Group의 DAMO Academy 및 난징 대학교(Nanjing University) NLP 연구실 소속 연구원들이 포함되어 있습니다. 9.36배라는 수치는 A100 GPU에서 1M(백만) 토큰 시퀀스를 대상으로 FlashAttention-2와 비교하여 측정되었습니다.

이것이 보도 자료가 시사하는 것보다 더 중요한 이유

이 주장이 주목할 만한 이유는 단순한 속도 향상뿐만 아니라, 이것이 시사하는 아키텍처(Architectural) 방향성 때문입니다. FlashAttention-2 및 -3는 임의의 어텐션 패턴(Attention patterns)에 최적화된 범용 커널(General-purpose kernels)입니다. FlashAttention-2와 같이 잘 조정된 기준점(Baseline) 대비 9.36배의 향상을 이루었다는 것은, 새로운 방법론이 범용성을 희생하는 대신 속도를 얻기 위해 구조적 가정(Structural assumptions)—아마도 희소성(Sparsity), 지역성(Locality), 또는 계층적 압축(Hierarchical compression)—을 활용하고 있음을 시사합니다.

이는 최근 다른 효율성 관련 논문들에서 나타나는 패턴이기도 합니다. DeepSeek의 MLA (Multi-head Latent Attention)는 KV 캐시(KV cache)를 압축함으로써 2~3배의 속도 향상을 달성했으며, Google의 Mixture-of-Depths (2024)는 계산량을 동적으로 가지치기(Pruned)했습니다. Alibaba와 난징 대학교의 접근 방식도 긴 컨텍스트 프롬프트(Long-context prompts)가 중복되거나 예측 가능한 어텐션 패턴을 가진다는 관찰 결과를 활용한다는 점에서 유사한 흐름을 따를 수 있습니다.

만약 이 방법론이 오픈 소스 코드와 재현 가능한 벤치마크(Benchmarks)를 통해 검증된다면, 백만 토큰 추론(Inference)을 실시간 애플리케이션에서 경제적으로 실행 가능하게 만들 수 있습니다. 하지만 코드 공개가 없다면, 이 주장은 인상적이지만 검증되지 않은 프리프린트(Preprint) 신호로 남게 됩니다.

주목해야 할 점

Hugging Face나 GitHub를 통한 코드 공개 및 제3자의 재현 여부를 지켜봐야 합니다. 만약 이 방법론이 희소성(Sparsity)이나 압축(Compression)을 사용한다면, NVIDIA나 Meta가 유사한 아이디어를 자신들의 추론 스택(Inference stacks)에 적용하는 후속 조치가 이어질 것으로 예상됩니다. 또한, 이 논문이 주요 학회(NeurIPS 2026 또는 ICML 2026)에 채택되는지도 모니터링해야 합니다.

원문 출처: gentic.news