Charon: 대규모 LLM 학습 및 추론을 위한 통합 및 세밀한 시뮬레이터

요약

대규모 LLM의 학습 및 추론 최적화를 위해 설계된 통합 시뮬레이터 Charon을 소개합니다. Charon은 병렬화 전략과 하드웨어 구성을 시뮬레이션하여 높은 정확도로 성능을 예측하며, 실제 시스템 처리량을 향상시키는 최적의 구성을 찾아냅니다.

핵심 포인트

• LLM 학습 및 추론을 위한 통합적이고 모듈화된 시뮬레이터 Charon 제안
• 다양한 구성에서 5.35% 미만, 대규모 GPU 클러스터에서 3.74% 미만의 낮은 예측 오차 달성
• 가설 검증을 통해 시스템 최적화 및 하드웨어 구성 설계 가이드 제공
• 실제 추론 배포 시 베이스라인보다 높은 처리량을 갖는 최적 구성 탐색 가능