Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 문서는 대규모 모델 학습을 위한 최적화 라이브러리인 DeepSpeed의 공식 문서 페이지입니다. 사용자는 이 문서를 통해 DeepSpeed의 다양한 기능과 개발 계획에 대한 정보를 얻을 수 있습니다. 또한, 정기적인 오피스 아워를 통해 개발팀과 직접 소통하며 질문할 기회를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기License Apache 2.0
PyPI version
Downloads
Build
OpenSSF Best Practices
Japanese Twitter
Chinese Zhihu
Slack
DeepSpeed는 매월 마지막 화요일 America/New_York 시간 12:00에 정기적인 오피스 아워를 개최하며, 이 자리에서 개발 계획이나 기능 등에 대해 논의합니다. 이 회의는 누구나 참여하여 질문할 수 있는 공개 세션입니다.
The meeting은 Zoom을 통해 진행되며 여기에서 참여할 수 있습니다.
[2026/05] DeepSpeed와 Muon Optimizer 사용하기
[2026/05] ZeRO-3를 위한 시스템 DMA (SDMA): AMD GPU에서 콜렉티브 연산을 컴퓨팅 유닛으로부터 오프로드하여 오버랩 개선
[2026/03] DeepSpeed 팀이 ASPLOS 2026에서
[2026/03] SuperOffload 작업이 ASPLOS 2026 최우수 논문상 (Best Paper Award) 후보로 선정되었습니다
[2025/12] DeepSpeed Core API 업데이트: PyTorch 스타일의 역전파(backward) 및 저정밀도 마스터 상태
[2025/11] LinkedIn에서 추천 시스템을 위한 LLM의 대규모 증류 학습(distillation training)에 DeepSpeed ZeRO++ 활용
[2025/10] Anyscale에서 [Ray x DeepSpeed Meetup]을 개최했습니다. SuperOffload, ZenFlow, Muon Optimizer 지원, Arctic 장문 시퀀스 학습(Arctic Long Sequence Training), DeepCompile에 대한 가장 최근 연구 결과를 공유했습니다. 미팅 슬라이드는 여기에서 확인하실 수 있습니다.
[2025/10] SuperOffload: Super칩에서의 대규모 LLM 학습 능력 해방
[2025/10] DeepSpeed CPU 코어 바인딩을 사용한 ZenFlow 및 ZeRO 오프로드 성능 연구
[2025/06] DeepSpeed를 사용한 Arctic 장문 시퀀스 학습(ALST): 수백만 토큰 시퀀스를 위한 확장 가능하고 효율적인 학습
[2025/06] DeepNVMe: 딥러닝 애플리케이션을 위한 합리적인 I/O 확장
***DeepSpeed는 MT-530B(https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/) 및 BLOOM(https://huggingface.co/blog/bloom-megatron-deepspeed)와 같이 세계에서 가장 강력한 언어 모델을 구현했습니다 (본문 작성 시점 기준). DeepSpeed는 시스템 혁신의 집합체로서, 대규모 DL 학습을 효과적이고 효율적으로 만들었으며, 사용 편의성을 크게 개선하고, 가능한 규모 면에서 DL 학습 환경 자체를 재정의했습니다. 이러한 혁신에는 ZeRO, ZeRO-Infinity, 3D-Parallelism, Ulysses Sequence Parallelism, DeepSpeed-MoE 등이 포함됩니다.
DeepSpeed는 Microsoft의 AI at Scale 이니셔티브에서 중요한 부분을 차지했습니다. 이 이니셔티브를 통해 사용자는 차세대 AI 기능을 대규모로 구현할 수 있으며, 더 많은 정보는 여기에서 확인할 수 있습니다.
DeepSpeed는 다양한 대규모 모델을 학습하는 데 사용되었으며, 저희가 알고 있는 몇 가지 예시는 다음과 같습니다 (모델 포함을 원하시면 PR을 제출해 주세요):
DeepSpeed는 다음과 같은 여러 인기 오픈소스 DL 프레임워크와 통합되었습니다:
| 설명 (Description) | 상태 (Status) |
|---|---|
| NVIDIA |   |
| ... |
DeepSpeed를 시작하는 가장 빠른 방법은 pip을 이용하는 것입니다. 이를 통해 특정 PyTorch 또는 CUDA 버전에 종속되지 않은 최신 버전의 DeepSpeed가 설치됩니다. DeepSpeed는 우리가 흔히 'ops'라고 부르는 여러 C++/CUDA 확장(extension)을 포함하고 있습니다. 기본적으로 이러한 모든 확장/ops는 ninja에 의존하는 torch의 JIT C++ 확장 로더를 사용하여 빌드하고 런타임에 동적으로 링크됩니다.
| 기여자 | 하드웨어 | 가속기 이름 | 기여자 검증 | 상위 버전 검증 |
|---|---|---|---|---|
| Huawei | Huawei Ascend NPU | npu | 예 (Yes) | 아니요 (No) |
| ... |
저희는 PyPI에 정기적으로 릴리스를 푸시하며, 대부분의 경우 사용자들에게 이곳에서 설치할 것을 권장합니다.
pip install deepspeed
설치 후에는 DeepSpeed 환경 보고서(DeepSpeed environment report)를 통해 설치 상태를 확인하고 사용자의 시스템이 어떤 확장/ops와 호환되는지 확인할 수 있습니다.
ds_report
DeepSpeed 확장 기능(extensions)/연산자(ops) 중 일부를 (JIT 컴파일 대신) 미리 설치하거나, PyPI를 통해 사전 컴파일된 연산자를 설치하려면 고급 설치 지침을 참조하십시오.