일반화된 2차 라우팅을 이용한 다중 상태 선형 어텐션

요약

본 글은 대규모 언어 모델의 확장을 제한하는 Self-attention의 이차 시간 복잡도 문제를 다룹니다. 이를 해결하기 위해 Multi-State Linear Attention (MSLA) 메커니즘을 기반으로, MERLIN이라는 새로운 라우팅 기법을 제안합니다. MERLIN은 세그먼트 키의 첫/두 모멘트를 추적하여 쿼리가 평균과 분산을 모두 활용해 상태별 출력을 더욱 콘텐츠 인식적으로 집계할 수 있게 하며, 장 컨텍스트 작업에서 우수한 성능 향상을 입증했습니다.

핵심 포인트

• Self-attention의 이차 시간 복잡도 문제를 해결하는 것이 핵심 목표입니다.
• MERLIN은 세그먼트 키의 첫 및 두 모멘트를 추적하여 정교한 집계를 가능하게 합니다.
• 장 컨텍스트 QA 및 Needle-in-a-haystack 작업에서 성능 향상을 보였습니다.
• MSLA 모델에 적용 가능한 일반적이고 효율적인 라우팅 메커니즘을 제공합니다.