애피니티만으로는 부족하다: Mixture-of-Experts 에서 자유 에너지 원리 회복

요약

기존의 Sparse Mixture-of-Experts (MoE) 라우팅은 도메인 전환(domain transitions) 지점에서 성능 저하를 보입니다. 본 연구는 Friston의 Free Energy Principle과 Spiking Neural Networks (SNNs)의 LIF 역학을 기반으로 세 가지 게이트 수정(시간적 기억, 정밀도 가중치, 선제적 라우팅)을 제안합니다. 이 메커니즘들은 특히 도메인 전환 시 올바른 전문가에게 확률 할당을 획기적으로 높여 MoE 모델의 견고성과 효율성을 크게 개선하며, 결합된 게이트는 구조적인 상호작용을 통해 가장 큰 성능 향상을 가져옵니다.

핵심 포인트

• 표준 애피니티 라우팅은 도메인 전환 지점에서 전문가 할당에 취약하여 성능 저하를 겪습니다.
• 제안된 세 가지 게이트(시간적 기억, 정밀도 가중치, 선제적 라우팅)는 SNN의 LIF 역학을 활용하여 MoE 모델의 라우팅 능력을 향상시킵니다.
• 특히 '시간적 기억'과 '선제적 라우팅'을 결합한 게이트가 가장 큰 시너지 효과를 발휘하며, 이는 구조적인 상호작용에 기인합니다.
• 이 개선된 MoE 모델은 도메인 전환 단계에서 올바른 전문가에게 훨씬 높은 확률을 할당하여 언어 모델의 견고성을 크게 높입니다.