Copyright (c) 2022-2026, NVIDIA CORPORATION & AFFILIATES. All rights reserved.
See LICENSE for license information.
|PyPI| |Documentation| |License|
Quick start <#quick-start>_ | User guide <https://docs.nvidia.com/deeplearning/transformer-engine/index.html>_ | PyTorch API <https://docs.nvidia.com/deeplearning/transformer-engine/api/pytorch.html>_ | JAX API <https://docs.nvidia.com/deeplearning/transformer-engine/api/jax.html>_ | Examples <https://github.com/NVIDIA/TransformerEngine/tree/main/examples>_ | Releases <https://github.com/NVIDIA/TransformerEngine/releases>_
.. overview-begin-marker-do-not-remove
Transformer Engine (TE)은 NVIDIA GPU에서 Transformer 모델 훈련을 가속화하기 위한 NVIDIA 라이브러리입니다.
이는 최적화된 빌딩 블록과 융합 커널(fused kernels)을 PyTorch 및 JAX를 위한 자동 혼합 정밀도 스타일 API와 결합하여, 트레이닝 스택을 재작성할 필요 없이 저정밀도 훈련을 채택할 수 있게 합니다.
Transformer Engine은 저정밀도 레시피에 필요한 스케일링 팩터(scaling factors), amax 히스토리(amax histories), 그리고 양자화 메타데이터(quantization metadata)를 관리합니다. 이 모듈들은 대규모 분산 트레이닝에서 사용되는 어텐션(attention), 선형 레이어(linear layers), 정규화(normalization), Mixture-of-Experts (MoE), 및 통신 연산을 다룹니다.
Highlights
- NVIDIA Hopper, Ada, Blackwell, 그리고 Rubin GPU에서의 FP8 훈련 지원.
- NVIDIA Blackwell GPU에서의 MXFP8 및 NVFP4 훈련 지원.
- 최적화된 어텐션(attention), GEMM, 정규화(normalization), 양자화(quantization), 그리고 융합된 Transformer 및 MoE 모듈.
- autocast 스타일 컨텍스트와 구성 가능한 저정밀도 레시피를 갖춘 PyTorch 및 JAX API.
- 통신 오버랩을 포함하여 텐서(tensor), 시퀀스(sequence), 컨텍스트(context), 그리고 EP 지원.
- NVIDIA Ampere 아키텍처 GPU 및 이후 버전에서의 FP16 및 BF16 최적화.
.. overview-end-marker-do-not-remove
News
- [2026년 9월]
Transformer Engine v2.19 <https://github.com/NVIDIA/TransformerEngine/releases/tag/v2.19>_는 Rubin 지원, 하이브리드 양자화(hybrid quantization), MXFP8 EP 통신 및 확장된 FP8 어텐션 지원을 추가했습니다.
- [2026년 9월]
NVIDIA Transformer Engine을 사용한 JAX의 Dropless MoE 학습 가속화 <https://developer.nvidia.com/blog/accelerating-dropless-moe-training-in-jax-with-nvidia-transformer-engine/>_는 GB200 및 GB300 시스템에서 최적화된 JAX MoE(Mixture-of-Experts) 학습을 설명합니다.
- [2026년 8월]
Transformer Engine v2.18 <https://github.com/NVIDIA/TransformerEngine/releases/tag/v2.18>_는 PyTorch에 FP8 블록 스케일링(block scaling)을, 제로-카피 EP(zero-copy EP)를, THD 어텐션용 CUDA Graph 지원을 추가했습니다.
- [2026년 7월]
Transformer Engine v2.17 <https://github.com/NVIDIA/TransformerEngine/releases/tag/v2.17>_는 PyTorch 및 JAX를 위한 NCCL 기반 EP(Enhanced Precision)를, 더 빠른 MoE 라우팅을, 그리고 JAX Flax MoE 블록을 소개했습니다.
- [2026년 6월]
고급 퓨전 커널을 통한 MoE 학습 처리량 향상 <https://developer.nvidia.com/blog/boosting-moe-training-throughput-with-advanced-fusion-kernels/>_은 융합된 Transformer Engine 연산이 MoE 학습을 어떻게 가속화하는지 보여줍니다.
더 이전 뉴스는 project updates archive <docs/project_updates.rst>_에서 확인하세요.
빠른 시작 방법 (Quick start)
프레임워크에 맞는 최신 안정 버전을 설치하세요:
.. code-block:: bash
# PyTorch
pip install --no-build-isolation
PyTorch 및 JAX 시작 가이드 https://docs.nvidia.com/deeplearning/transformer-engine/getting_started/index.html에서 계속 진행하십시오.
사전 요구 사항, 소스 빌드, 환경 변수 및 문제 해결은 설치 가이드 https://docs.nvidia.com/deeplearning/transformer-engine/installation.html를 참조하십시오.
통합(Integrations)
Transformer Engine은 다음과 같은 인기 LLM 프레임워크와 통합되었습니다:
Hugging Face Accelerate <https://huggingface.co/docs/accelerate/main/en/usage_guides/low_precision_training#configuring-transformersengine>_Lightning <https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.plugins.precision.TransformerEnginePrecision.html>_NVIDIA BioNeMo Recipes <https://github.com/NVIDIA-BioNeMo/bionemo-recipes>_NVIDIA JAX Toolbox <https://github.com/NVIDIA/JAX-Toolbox>_NVIDIA Megatron-LM <https://github.com/NVIDIA/Megatron-LM>_NVIDIA NeMo Megatron Bridge <https://github.com/NVIDIA-NeMo/Megatron-Bridge>_Amazon SageMaker Model Parallel Library <https://docs.aws.amazon.com/sagemaker/latest/dg/model-parallel-core-features-v2-tensor-parallelism.html>_
추가 커뮤니티 통합 및 Transformer Engine과 함께 작동한 프로젝트는 Ecosystem and historical integrations <docs/ecosystem.rst>를 참조하십시오.
기여(Contributing)
Transformer Engine에 대한 기여를 환영합니다! Transformer Engine에 기여하고 풀 리퀘스트(pull requests)를 제출하려면 <CONTRIBUTING.rst> 가이드에 설명된 지침을 따르십시오.
기술 심층 분석(Technical deep dives)
Low precision training guide <https://docs.nvidia.com/deeplearning/transformer-engine/features/low_precision_training/index.html>_ — FP8, MXFP8, NVFP4, 스케일링 레시피(scaling recipes), 그리고 성능 고려 사항에 대한 가이드입니다.Using FP8 and FP4 with Transformer Engine <https://docs.nvidia.com/deeplearning/transformer-engine/examples/fp8_primer.html>_ — 코드 예제를 포함한 실용적인 소개 자료입니다.FP8 Formats for Deep Learning <https://arxiv.org/abs/2209.05433>_ — 딥러닝에 사용되는 FP8 포맷을 설명하는 기초 논문입니다.Stable and Scalable FP8 Deep Learning Training on Blackwell <https://www.nvidia.com/en-us/on-demand/session/gtc25-s72778/>_ — 트레이닝 수치(numerics) 및 스케일링에 관한 기술적인 GTC 2025 세션입니다.
전체 논문 및 녹화된 강연 모음은 Resources <docs/resources.rst>에서 확인하세요.
.. |PyPI| image:: https://img.shields.io/pypi/v/transformer-engine.svg
:target: https://pypi.org/project/transformer-engine/
:alt: PyPI 릴리스
.. |Documentation| image:: https://img.shields.io/badge/docs-latest-76B900.svg
:target: https://docs.nvidia.com/deeplearning/transformer-engine/index.html
:alt: 문서화
.. |License| image:: https://img.shields.io/badge/License-Apache%202.0-blue.svg
:target: https://opensource.org/licenses/Apache-2.0