연속 어텐션 (Continuum Attention)

요약

본 논문은 이산적인 키/값 조회 대신 연속적 선형 메모리 곡선에 대한 적분으로 트랜스포머 어텐션을 대체하는 Continuum Attention (CA)을 제안합니다. CA는 쿼리가 지수적 관련성 밀도를 유도하고 이를 적분하여 정확한 정규화 어텐션을 얻습니다. 이 방식은 기존의 소프트맥스와 포컬 어텐션보다 성능이 우수하며, 병렬 GPU 구현이 가능해 이차 시퀀스 복잡도를 유지합니다.

핵심 포인트

• CA는 이산 조회 대신 연속적 적분을 사용합니다.
• 지수적 관련성 밀도와 보간된 값을 이용해 정규화 어텐션을 계산합니다.
• 기존 방식 대비 낮은 NLL 값으로 성능 우위를 입증했습니다.
• 이차 시퀀스 복잡도를 유지하며 병렬 GPU 구현이 가능합니다.