Mamba: 선택적 상태 공간을 활용한 선형 시간 시퀀스 모델링

요약

Mamba는 기존 Transformer의 $O(L^2)$ 복잡도를 해결하고, 긴 시퀀스 데이터 처리에 최적화된 새로운 아키텍처입니다. 핵심은 '선택적 상태 공간 모델 (Selective State Space)'을 도입하여 메모리 효율성과 계산 속도를 혁신적으로 개선했다는 점입니다. 이를 통해 Transformer 대비 훨씬 빠르면서도 높은 성능을 보여주며, 특히 대규모 언어 모델(LLM)의 시퀀스 처리 능력을 한 단계 끌어올릴 잠재력을 제시합니다.

핵심 포인트

• Mamba는 기존 트랜스포머(Transformer)가 가지는 $O(L^2)$ 복잡도 문제를 해결하여, 시퀀스 길이 $L$에 대해 선형 시간($O(L)$)의 계산 복잡도를 달성했습니다.
• 핵심 메커니즘인 '선택적 상태 공간 모델 (Selective State Spaces)'은 입력 데이터의 내용과 맥락을 고려하여 게이트를 동적으로 제어함으로써, 정보 처리의 효율성과 성능을 극대화합니다.
• Mamba는 컨볼루션(Convolution) 및 RNN 구조의 장점을 결합한 하이브리드 방식으로, 긴 시퀀스에서도 안정적이고 높은 표현력을 유지하며 뛰어난 추론 속도를 자랑합니다.
• 실제 실험 결과에서 Mamba는 다양한 벤치마크와 태스크에서 기존 모델 대비 우수한 성능을 입증했으며, 특히 메모리 및 계산 자원 측면에서 큰 이점을 가집니다.