Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
논문 'MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts'의 PyTorch 및 Zeta 기반 구현체입니다. Switch Transformer의 SwitchMoE 아키텍처를 활용하여 효율적인 선택적 상태 공간 모델을 구현했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Coding Assistants의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기논문 "MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts"의 MoE Mamba 구현체입니다. Pytorch 및 Zeta를 사용합니다. SwitchMoE 아키텍처는 Switch Transformer 논문에서 가져왔습니다. 그리고, 저는 여전히 이에 대한 도움이 필요합니다. 도움을 주고 싶다면 Agora Discord 서버에 참여하여 MoE Mamba 채널에서 도와주세요.
pip install moe-mamba
import torch
from moe_mamba import MoEMambaBlock
x = torch.randn(1, 10, 512)
...
import torch
from moe_mamba.model import MoEMamba
# (1, 1024, 512) 형태의 텐서 생성
...
make style
코드를 포맷팅하려면
make check_code_quality
코드 품질(기본적으로 PEP8)을 확인하려면
black .
ruff . --fix
@misc{pióro2024moemamba,
title={MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts},
author={Maciej Pióro and Kamil Ciebiera and Krystian Król and Jan Ludziejewski and Sebastian Jaszczur},
...
MIT