방금 Daily Dose of Data Science의 시각적 설명을 봤는데, Transformer와 Mixture of Experts

요약

본문은 Daily Dose of Data Science의 시각적 설명을 바탕으로 Transformer와 Mixture of Experts (MoE) 아키텍처의 핵심적인 차이점을 설명한다. 주요 차이는 디코더 블록(decoder block)에 있으며, Transformer는 하나의 큰 피드포워드 네트워크를 사용하는 반면, MoE는 여러 개의 작은 '전문가(experts)' 네트워크로 분할하여 사용한다. 특히 추론 시에는 MoE가 필요한 전문가들만을 선택적으로 활성화한다는 점이 특징이다.

핵심 포인트

• Transformer와 MoE의 주요 차이는 디코더 블록에 있다.
• Transformer는 하나의 거대한 피드포워드 네트워크를 사용한다.
• MoE는 이 피드포워드 네트워크를 여러 개의 작은 '전문가(experts)' 네트워크로 분할하여 사용한다.
• MoE의 장점은 추론 시 필요한 전문가들만을 선택적으로 활성화한다는 점이다.