MATCH: 긴 문맥 Transformer를 위한 인컨텍스트 검색 기반 어텐션 조절

전통적인 어텐션 (Attention) 메커니즘의 이차 함수적 계산 비용 (Quadratic computational cost)은 대규모 언어 모델 (LLMs)의 확장성과 실질적인 배포, 특히 긴 문맥 (Long-context) 시나리오에서 주요한 병목 현상을 야기합니다. 효율성을 개선하기 위해 기존의 접근 방식들은 종종 로컬 어텐션 윈도우 (Local attention windows)와 같은 엄격한 구조적 제약을 강제합니다. 그러나 이러한 전략들은 정밀한 장거리 회상 (Long-range recall)을 요구하는 작업에서 일반적으로 상당한 성능 저하를 초래합니다. 본 연구에서는 효율적인 검색 시스템을 통해 동적으로 통합된 인컨텍스트 (In-context) 정보를 희소 어텐션 (Sparsified attention) 메커니즘에 증강하는 확장 가능하고 효율적인 프레임워크인 MATCH를 제안합니다. 실증적 결과에 따르면, MATCH는 합성 (Synthetic) 및 실제 자연어 작업 모두에서 희소 어텐션 (Sparse-attention) 모델의 성능을 유의미하게 향상시킵니다. 이러한 발견은 희소 어텐션 (Sparse attention) 아키텍처의 효율성 이점을 유지하면서 인컨텍스트 검색 (In-context retrieval) 능력을 강화하는 일반적인 접근 방식으로서 MATCH의 다재다능함을 강조합니다.