Long Context Pre-Training with Lighthouse Attention

요약

본 논문은 극단적인 시퀀스 길이에서 인과 트랜스포머를 훈련할 때 발생하는 스케일된 점곱 주의(SDPA)의 시간 및 메모리 제약을 해결하기 위해 'Lighthouse Attention'이라는 새로운 계층적 주의 알고리즘을 제안합니다. 이 방법은 적응적 압축, 대칭 압축 전략을 통해 병렬성을 높이고, 쿼리, 키, 밸류를 동시에 풀링하여 효율성을 극대화했습니다. 또한, 대부분의 시간 동안 Lighthouse Attention으로 사전 훈련하고 짧은 과정으로 전체 주의 모델을 복원하는 2단계 훈련 접근법을 제시하여 성능과 속도를 모두 개선했습니다.

핵심 포인트

• Lighthouse Attention: SDPA의 제약을 극복하기 위해 설계된 대칭 선택 기반 계층적 주의 알고리즘입니다.
• 효율성 향상: 적응적 압축 및 분해, 그리고 쿼리/키/밸류 동시 풀링을 통해 병렬성을 크게 개선했습니다.
• 2단계 훈련 접근법: 대부분의 사전 훈련은 Lighthouse Attention으로 수행하고, 최종적으로 전체 주의 모델로 짧게 복원하여 시간 효율성과 낮은 손실을 달성합니다.
• 기술적 우위: 계층적 선택 과정이 그래디언트 프리(gradient-free)여서 백워드 패스 커널의 복잡성을 줄였습니다.