Forget Attention: 중요도 인지 어텐션(Importance-Aware Attention)이면 충분하다

요약

Transformer의 전역 검색 능력과 SSM의 순차적 중요도 인지 능력을 결합한 새로운 하이브리드 모델링 방식인 SISA를 제안합니다. SISA는 별도의 커스텀 커널 없이 어텐션 점수 내에 SSM의 중요도 항을 직접 통합하여 연산 효율성과 성능을 동시에 확보했습니다.

핵심 포인트

• SSM의 중요도 신호를 어텐션 점수에 직접 통합하는 SISA 제안
• 기존 Jamba, Hymba와 달리 점수 수준의 융합(score-level fusion) 구현
• LAMBADA-greedy 및 NIAH 벤치마크에서 기존 모델 대비 우수한 성능 입증
• 표준 SDPA를 사용하여 별도의 커스텀 커널이나 순환 상태가 필요 없음