Mamba 트랜스포머

Mamba/SSMs를 트랜스포머와 통합하여 향상된 장문맥 및 고품질 시퀀스 모델링.

이것은 SSM(State Space Models)과 Attention의 강점과 약점을 결합하여 우리의 오래된 한계를 뛰어넘는 새로운 고급 아키텍처를 위해 제가 설계한 100% 새로운 구조입니다. 더 빠른 처리 속도, 더 긴 컨텍스트 길이, 긴 시퀀스에 대한 낮은 퍼플렉서티(perplexity), 작고 간결함을 유지하면서 향상되고 우수한 추론 능력을 제공합니다.

이 아키텍처는 본질적으로 다음과 같습니다: x -> norm -> mamba -> norm -> transformer -> norm -> ffn -> norm -> out.

저는 두 개의 이종(foreign) 아키텍처가 서로 통합될 때 기본 훈련 안정성이 심각하게 저하될 것이라고 믿기 때문에 여러 가지 정규화(normalization)를 추가했습니다.

설치 (Install)

pip3 install mambatransformer

사용법 (Usage)

import torch
from mamba_transformer import MambaTransformer

...

라이선스

MIT