희소 전문가 혼합 (Sparse Mixture-of-Experts) 모델 내 불연속성에 대한 기하학적 및 확률론적 분석

희소 전문가 혼합 (Sparse Mixture-of-Experts, SMoE) 아키텍처는 현재 최첨단 언어 및 시각 모델에 널리 배포되어 있으며, 여기서 조건부 라우팅 (conditional routing)은 매우 큰 네트워크로의 확장을 가능하게 합니다. 그러나 조건부 라우팅을 가능하게 하는 바로 이 Top-$k$ 전문가 선택 방식은 SMoE 맵을 본질적으로 불연속적으로 만듭니다. 이러한 불연속 표면 (discontinuity surfaces) 근처에서는 임의로 가까운 입력이라 할지라도 실질적으로 다른 전문가 세트를 활성화하여 결과적으로 크게 다른 출력을 생성할 수 있습니다. 본 연구에서는 이러한 불연속성에 대한 엄밀한 기하학적 및 확률론적 분석을 제공합니다. 먼저, 스위칭 이벤트 (switching event) 시 결합된 전문가의 수에 의해 결정되는 차수 (order)에 따라 불연속성을 분류합니다. 측도론적 슬라이싱 (measure-theoretic slicing) 논증을 사용하여, 두꺼워진 불연속 표면에 대한 점근적 부피 추정치를 확립함으로써, 낮은 차수의 불연속 집합이 지배적인 반면 높은 차수의 집합은 소멸하는 수준의 매우 작은 상대적 부피를 차지함을 보여줍니다. 다음으로, 확산 과정 (diffusion process)을 통해 입력 공간에서의 무작위 섭동 (random perturbations)을 모델링함으로써, 경로가 결국 불연속성에 직면한다는 것을 증명하며, 나아가 첫 번째 충돌이 명시적인 유한 시간 확률 경계 (finite-time probability bounds)와 함께 거의 확실하게(almost surely) 1차 (order-1) 불연속성에서 발생함을 증명합니다. 나아가 우리는 무작위 경로가 각 불연속 차수의 근방에서 머무는 시간을 정량화하는 점유 시간 경계 (occupation-time bounds)를 도출합니다. 이러한 이론적 결과는 입력이 낮은 차수의 불연속성 근처에 위치할 가능성이 더 높음을 시사합니다. 이러한 통찰에 착안하여, 우리는 기존 SMoE에 직접 적용할 수 있는 간단한 평활화 (smoothing) 메커니즘을 제안합니다. 이는 불연속성 근처의 전문가들을 부드럽게 통합합니다. 우리의 분석은 추가된 계산 오버헤드가 작게 유지되는 동시에 불연속성 근처에서 국소적 평활화를 제공함을 보장하며, 언어 및 시각 작업 전반에 걸친 실험을 통해 평활화가 SMoE 맵의 연속성을 강제할 뿐만 아니라 실증적 성능을 향상시킨다는 것을 보여줍니다.