우리는 선형 전이를 가진 실수 및 복소수 상태 공간 모델(State-Space Models, SSMs)을 분류하며, 고정 기저 대각 동치성을 입출력 동치성과 구별하고 좌표 변화 하에서 계수 조건화 창을 추적합니다. 우리는 선택된 필드 위에서 대각화 가능한 구성원들을 가진 교환하는 전이족(commuting transition families)을 통해 대각 동치성을 특성화합니다.
시간 공유 토큰 국부 행렬 맵을 사용하여, 우리는 이 클래스의 상태 매개 커널(state-mediated kernels)을 승법 마스크를 가진 비정규화 스칼라 모드 선형 어텐션과 동일시합니다. Mamba 3의 다중 입력 다중 출력(Multiple-Input, Multiple-Output, MIMO) 구조는 각 국부 인터페이스당 하나의 값을 올리고, SSD-MIMO는 국부 검색 순위가 하나를 초과하는 독립적인 값들을 라우팅합니다.
HybridMamba는 Mamba 1의 좌표별 감쇠(per-coordinate decay), Mamba 2 스타일 헤드, 그리고 Mamba 3의 복소수 회전 및 양 끝점 쓰기(two-endpoint writes)를 결합하여, 서로 다른 감쇠 법칙을 가진 실수 블록과 회전 블록을 혼합합니다. 이들은 Mamba 1부터 Mamba 3까지의 단일 입력 단일 출력(Single-Input, Single-Output, SISO) 구성을 정확한 특수 사례로 복구합니다.
다섯 가지 대규모 H100 bfloat16 워크로드에서, 우리의 통합된(fused) GPU 커널은 일치하는 SISO 복구 사례에서 공식 Mamba 1/3보다 기하 평균 학습 시간을 개선했으며, Mamba 2는 SSM 코어 범위에서 거의 동등한 수준을 보였습니다. 메모리 트레이드오프는 기준선과 측정 지표에 따라 달라집니다: backward를 위해 저장된 공간 대 최대 할당량입니다.
소형 모델 다중 토큰 검색 실험에서, 두 디자인 모두 가장 어려운 등급(hardest tier)에서 Mamba 1-3보다 우수하며, 더 높은 라우팅 순위는 게이티드 또는 위상 다양성 구성에서 가장 좋은 성능을 보입니다. 약 500M 매개변수를 가진 단일 시드 언어 모델에서, 두 디자인 모두 2B 토큰에서 Mamba 1/2의 테스트 손실을 개선했지만, 라우팅 이득이 더 낮은 언어 모델 손실로 이어지지는 않았습니다.
우리의 최적 구성은 10B 토큰까지는 Mamba 3 SISO에 근접하지만, 언어 모델 손실 측면에서는 여전히 뒤처지며, Mamba 3 MIMO보다도 낮은 수준을 유지합니다.