https://openreview.net/forum?id=juARG7yu4P 이 모델은 활성 MLP 레이어의 약 20%만을 활성화하도록 설계되었습니다. 또한 MoE (Mixture of Experts) 구조이므로 내장된 희소성 (Sparsity)을 가지고 있습니다. 이 모델은 토큰당 또는 레이어마다 전환되는 방식이 아니라, 프롬프트당 동일한 전문가 (Experts)를 사용하도록 처음부터 학습되었습니다. 모델의 활성 파라미터 중 약 3분의 2가 FFN/MLP 전문가 가중치이므로, 30B 활성 MoE는 읽기 대역폭 (Read bandwidth) 성능 측면에서 14B 활성 모델과 맞먹는 가치를 가집니다. 9B 밀집 (Dense) 모델은 3B 활성 모델이 되었습니다. 이는 최근 공유된, Qwen 조직의 일원으로 보이는 누군가가 발표한 '세션 적응형 직교 증류 (Session-Adaptive Orthogonal Distillation)'와 유사한 아이디어로 보입니다. 두 방법 모두 프루닝 (Pruning)을 위해 입력을 활용하며, 긴 출력을 생성할 때 발생할 수 있는 일종의 지연 (Delay)이 있을 수 있지만 이를 극복할 수 있을 것으로 보입니다. https://thenextweb.com/news/apple-third-generation-foundation-models-afm Apple의 비결은 모델 전체를 훨씬 작은 작업 메모리 (Working memory) 풀에 두는 대신 플래시 저장 장치 (Flash storage)에 유지하는 것입니다. 연구진이 '지시 이행 프루닝 (Instruction-Following Pruning)'이라고 부르는 기술을 사용하여, 모델은 프롬프트당 한 번씩 라우팅 결정을 내리며, 핵심 공유 전문가 (Shared experts)를 항상 켜둔 상태에서 한 번에 10억 개에서 40억 개 사이의 작은 전문가 파라미터 세트만을 메모리로 로드합니다.