방금 Daily Dose of Data Science의 시각적 설명을 봤는데, Transformer와 Mixture of Experts (MoE)를 정말 명확하게 설명해 놓았네요.

핵심적인 차이점은 사실 디코더 블록 (decoder block)에 있습니다:

Transformer는 하나의 커다란 피드포워드 네트워크 (feed-forward network)를 사용합니다.
MoE는 이 위치를 여러 개의 더 작은 "전문가 (experts)" 네트워크로 분할합니다.

추론 (inference) 시, MoE는 그중 일부 전문가만을 활성화합니다.

Transformer와 Mixture of Experts, 시각적으로 설명합니다!

Mixture of Experts (MoE)는 Transformer 모델을 개선하기 위해 서로 다른 전문가들을 사용하는 인기 있는 아키텍처 (architecture)입니다.

Transformer와 MoE는 디코더 블록 (decoder block)에서 차이가 납니다:

• Transformer는 피드포워드 네트워크 (feed-forward network)를 사용합니다.
• MoE는 전문가 (experts)를 사용합니다,