초장문 컨텍스트를 위한 새로운 희소 어텐션 방법

요약

오픈 소스 연구팀은 Qwen 3.8 27B 모델의 어텐션을 정확도 손실 없이 희소화(sparsify)하는 새로운 방법을 공개했습니다. 이 방법은 다음 토큰 예측 손실만으로 네이티브하게 훈련되어, 전체 어텐션과 동일한 검증 손실을 달성하면서 추론 속도를 높입니다. 최대 10M 토큰까지 컨텍스트 확장이 가능하며, 이는 로컬 환경의 소형 모델에도 적용할 수 있습니다.

핵심 포인트

• Qwen 3.8 27B 어텐션을 정확도 손실 없이 희소화하는 방법 제시.
• 다음 토큰 예측 손실만으로 네이티브하게 훈련되어 효율성 증대.
• 컨텍스트를 최대 10M 토큰까지 확장 가능하며, 대부분의 작업에서 허용 가능한 수준.
• H200/B300 GPU 기반이지만, 소형 모델에도 적용하여 저렴한 장문 컨텍스트 구현 가능.