확장 가능한 LLM 학습을 위한 런타임 오케스트레이션 기반 2차 최적화 기술

요약

2차 최적화 방법론은 높은 샘플 효율성을 제공하지만 대규모 옵티마이저 상태 유지로 인한 시스템 비용 문제가 있습니다. 본 논문은 Asteria라는 런타임 시스템을 통해 옵티마이저 상태를 GPU, CPU, NVMe에 동적으로 분산하고 비동기 연산을 수행하여 이 병목 현상을 해결합니다. 이를 통해 대규모 언어 모델(LLM) 학습 시 2차 최적화의 이점을 유지하면서도 실용적인 학습 속도와 효율성을 달성합니다.

핵심 포인트

• Asteria는 2차 최적화 로직을 GPU 학습 경로에서 분리하여 시스템 병목 현상을 제거하는 런타임 시스템입니다.
• 아키텍처 제약 및 런타임 압력에 따라 옵티마이저 상태를 GPU, CPU, NVMe 스토리지에 동적으로 분산 관리합니다.
• 트레이닝 훅과 비동기 계산을 활용하여 GPU 연산 중 호스트에서 비용이 큰 역제곱근 계산을 사전에 준비합니다.
• 토폴로지 인식 조정 및 유계 지연 프로토콜을 통해 분산 학습 환경에서의 동기화 오버헤드를 최소화합니다.
• 7B 파라미터 모델 실험 결과, SOAP 및 KL-Shampoo의 최적화 이점을 유지하며 실제 학습 시간을 가속화했습니다.