Space Network of Experts: Architecture 및 Expert Placement
요약
본 논문은 우주 데이터 센터에서 대규모 언어 모델(LLMs)을 효율적으로 분산 배포하는 'Space Network of Experts (Space-XNet)' 프레임워크를 제안합니다. 이 프레임워크는 MoE(Mixture-of-Experts) 모델의 특성을 활용하여, LLM의 구성 요소들을 여러 위성 네트워크에 최적화된 방식으로 배치하고 매핑하는 두 단계의 전략을 제시합니다. 실험 결과, Space-XNet은 기존 방식 대비 최소 3배의 지연 시간 감소 효과를 입증하며 우주 기반 AI 컴퓨팅의 실현 가능성을 높입니다.
핵심 포인트
- 우주 데이터 센터는 고효율 태양 에너지 수확을 통해 LLM 실행에 유망한 플랫폼으로 부상하고 있으나, 제한된 자원이 핵심 도전 과제이다.
- LLMs를 위성 네트워크에 분산 배포하는 것은 모델 구조와 네트워크 토폴로지의 차이로 인해 복잡한 배치 최적화 문제(Placement Problem)를 야기한다.
- Space-XNet 프레임워크는 MoE 모델의 분산 실행을 목표로 하며, '레이어 배치'와 '인트라 레이어 전문가 배치'라는 2단계 전략으로 구성된다.
- 제안된 최적화 전략은 자주 활성화되는 전문가는 예상 지연이 낮은 경로 상의 위성에 매핑해야 한다는 직관적인 원칙에 기반한다.
- 실험적으로, Space-XNet은 대규모 위성 군집에서 기존 배치 전략 대비 최소 3배의 지연 시간 감소를 달성했다.
고효율 지속 태양 에너지 수확을 활용하여, 우주 데이터 센터는 에너지 집약적인 대형 언어 모델 (LLMs) 실행을 위한 유망한 플랫폼으로 전망됩니다. 이러한 장점을 인식하고, 우주 및 AI 기업들 (예: SpaceX, Google) 은 이 비전에 적극적으로 투자하고 있습니다. 그러나 중요한 도전 과제는 제한된 탑재 컴퓨팅 및 통신 자원으로 인해 위성 네트워크에서 대규모 LLM 의 효율적인 분산 배포입니다. 이는 모델 구조와 네트워크 토폴로지가 근본적으로 다르기 때문에 저지연 토큰 생성을 보장하기 위해 모델 구성 요소를 위성에 분할하고 매핑하는 배치 문제를 야기합니다. 이 문제를 해결하기 위해, 우리는 우주에서 인기 있는 mixture-of-experts (MoE) 모델의 분산 실행을 목표로 하는 Space Network of Experts (Space-XNet) 프레임워크를 제시합니다. 제안된 배치 전략은 두 단계로 구성됩니다: (1) 레이어 배치 (layer placement), 즉 MoE 레이어를 위성 서브넷에 할당하고, (2) 인트라 레이어 전문가 배치 (intra-layer expert placement), 즉 동일한 레이어/서브넷과 연관된 위성에 개별 전문가를 할당합니다. 레이어 배치에 대해, 우리는 자기회귀 추론의 링 형태의 통신 패턴을 활용하여 궤도 방향을 따라 위성 군집을 서브넷으로 분할하고, 각 서브넷은 하나의 MoE 레이어를 호스팅하는 링 형태로 배열됩니다. 이 구조에 기반하여, 활성화 확률이 다른 전문가들을 위성에 매핑하기 위한 인트라 레이어 전문가 배치 최적화 문제를 수립하고 해결합니다. 유도된 전략은 직관적인 원칙을 드러냅니다: 자주 활성화되는 전문가는 예상 지연이 낮은 라우팅 경로 상의 위성에 매핑되어야 합니다. 천 개의 위성 군집에 대한 실험에서는, Space-XNet 이 기존 무작위 및 아블레이션 기반 배치 전략과 비교하여 최소 3 배의 지연 감소 효과를 달성함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기