Pre-optimized kernels 를 통해 모델 성능을 향상시키고, Hub 에서 쉽게 로드하세요.

오늘은 Hugging Face 의 흥미로운 발전인 Kernel Hub를 살펴보겠습니다. ML 전문가로서 우리는 최적화된 코드, 커스텀 CUDA kernel, 또는 복잡한 빌드 시스템을 깊이 파고들어야 성능을 극대화하는 것을 알고 있습니다. Kernel Hub 는 이 과정을 획기적으로 단순화합니다!

아래는 코드로 kernel 을 사용하는 간단한 예시입니다.

import torch
from kernels import get_kernel
# Hugging Face hub 에서 최적화된 kernel 다운로드
...

다음 섹션에서는 다음 주제를 다룹니다:

Kernel Hub 는 무엇인가요?- 핵심 개념 이해.Kernel Hub 를 어떻게 사용하나요?- 빠른 코드 예시.단순 모델에 Kernel 추가- RMSNorm 을 사용한 실용적 통합.성능 영향 검토- RMSNorm 차이를 벤치마킹합니다.실제 사례- kernel 라이브러리가 다른 프로젝트에서 어떻게 사용되는지 예시.

우리는 이 개념들을 빠르게 소개할 것입니다 - 핵심 아이디어는 약 5 분 안에 파악할 수 있습니다 (실험과 벤치마킹은 조금 더 오래 걸릴 수 있음!).

Kernel Hub (👈 확인해보세요!) 는 Python 라이브러리와 애플리케이션이 Hugging Face Hub 에서 직접 최적화된 compute kernel 을 로드할 수 있게 합니다. Model Hub 와 비슷하지만, GPU 에서 특정 연산을 가속화하는 low-level, high-performance 코드 스니펫 (kernel) 에 대한 것입니다.

예시로는:

• 고급 attention 메커니즘 (FlashAttention 의 경우 속도 향상과 메모리 절약 효과 큼)
• 커스텀 quantization kernel (INT8 또는 INT4 와 같은 저정밀도 데이터 타입으로 효율적인 계산을 가능하게 함)
• Mixture of Experts (MoE) 레이어와 같이 복잡한 아키텍처에 필요한 특수 kernel (복잡한 라우팅 및 계산 패턴 포함)
• 활성화 함수 및 normalization 레이어 (LayerNorm 또는 RMSNorm 등).

Triton 나 CUTLASS 와 같은 라이브러리를 소스에서 빌드하거나, 복잡한 의존성을 수동으로 관리하거나, 컴파일 플래그와 싸우는 대신, kernels
라이브러리를 사용하여 미리 컴파일되고 최적화된 kernel 을 즉시 다운로드하고 실행할 수 있습니다.

예를 들어, FlashAttention을 활성화하려면 한 줄만 필요하며 - 빌드나 플래그 없이:

from kernels import get_kernel
flash_attention = get_kernel("kernels-community/flash-attn")

kernels 는 정확한 Python, PyTorch, CUDA 버전을 감지한 후, 일반적으로 몇 초 (또는 느린 연결에서는 1~2 분) 안에 매칭된 미리 컴파일된 바이너리를 다운로드합니다.

반면, FlashAttention 을 직접 컴파일하려면:

• 리포지토리를 클론하고 모든 의존성을 설치해야 합니다.
• 빌드 플래그와 환경 변수를 구성해야 합니다.
• ~96 GB 의 RAM과 충분한 CPU 코어를 확보해야 합니다.
• 하드웨어에 따라 10 분에서 수 시간까지 기다려야 합니다. (상세 내용은 프로젝트 자체의 설치 가이드 참조.)

Kernel Hub 는 모든 마찰을 제거합니다: 한 함수 호출, 즉시 가속화.

최적화된 커널에 대한 즉시 액세스: NVIDIA 와 AMD GPU 를 포함한 다양한 하드웨어를 위해 최적화된 커널을 로딩하고 실행할 수 있으며, 로컬 컴파일의 불편함을 겪지 않습니다.공유 및 재사용: 다른 프로젝트와 커뮤니티 사이에서 커널을 발견하고 공유하며 재사용할 수 있습니다.쉬운 업데이트: Hub 에서 최신 버전을 가져오기만 하면 최신 커널 개선 사항을 쉽게 유지보수할 수 있습니다.개발 가속화: 모델 아키텍처와 로직에 집중하고, 커널 컴파일 및 배포의 복잡성에 집중하지 않습니다.성능 향상: 전문가가 최적화된 커널을 활용하여 훈련과 추론 속도를 잠재적으로 높일 수 있습니다.배포 단순화: 필요시 커널을 가져오므로 배포 환경의 복잡성을 줄입니다.자신의 커널 개발 및 공유: 최적화된 커널을 만들면 다른 사람이 사용할 수 있도록 Hub 에서 쉽게 공유할 수 있습니다. 이는 커뮤니티 내 협력과 지식 공유를 장려합니다.

많은 머신러닝 개발자들이 알고 있듯이, 의존성 관리와 소스 코드에서 저수준 코드를 구축하는 것은 시간 많이 걸리고 오류가 많은 과정일 수 있습니다. Kernel Hub 는 최적화된 컴퓨팅 커널을 제공하여 쉽게 로딩하고 실행할 수 있는 중앙 집중식 저장소를 제공함으로써 이를 단순화합니다.

핵심 모델 구축에 더 많은 시간을 투자하고 빌드 시스템과 싸우는 시간을 줄이세요!

Kernel Hub 를 사용하는 것은 직관적입니다. kernels 라이브러리가 주요 인터페이스를 제공합니다. 여기서는 최적화된 GELU 활성화 함수 커널을 로드하는 간단한 예제가 있습니다. (나중에, 모델에 커널을 통합하는 방법에 대한 다른 예제를 보게 될 것입니다.)

파일: activation_validation_example.py

# /// script
# dependencies = [
# "numpy",
...

(참고: uv 를 설치한 경우, 이 스크립트를 script.py 로 저장하고 uv run script.py 를 실행하면 의존성을 자동으로 처리할 수 있습니다.)

가이드: 이 함수는 get_kernel 을 통해 Kernel Hub 에 대한 진입점입니다. 이 줄은 kernels-community/activation 활성화 커널 저장소를 찾습니다. kernels-community 조직 아래에 있는 get_kernel("kernels-community/activation") 를 검색합니다. 해당 사전 컴파일된 커널 바이너리를 다운로드하고 캐싱하며 로드합니다.텐서 준비: 우리는 GPU 에서 입력 (x) 와 출력 (y) 텐서를 만듭니다.: 우리가 로드된 커널 모듈에서 제공하는 특정 최적화된 함수 (activation_kernels.gelu_fast(y, x) gelu_fast) 를 호출합니다.검증: 우리는 출력을 확인합니다. 이 간단한 예제는 매우 최적화된 코드를 가져오고 실행하는 것이 얼마나 쉬운지 보여줍니다. 이제 RMS Normalization 을 사용한 더 실용적인 통합을 살펴보겠습니다.

최적화된 RMS Normalization 커널을 기본 모델에 통합하겠습니다. kernels-community/triton-layer-norm 저장소에서 제공하는 LlamaRMSNorm 구현을 사용하며 (참고: 이 저장소는 다양한 노멀라이제이션 커널을 포함합니다), RMSNorm 의 기준 PyTorch 구현과 비교하겠습니다.

먼저 PyTorch 에서 간단한 RMSNorm 모듈을 정의하고 이를 사용하는 기준 모델을 만듭니다:

파일: rmsnorm_baseline.py

# /// script
# dependencies = [
# "numpy",
...

이제 kernels 를 통해 로드된 LlamaRMSNorm 커널을 사용하여 버전을 만듭니다.

파일: rmsnorm_kernel.py

/// script

dependencies = [

"numpy",

...

# layer_norm_kernel_module.rms_norm_fn(
# hidden_states,
# self.weight,
# bias=None,
# residual=None,
# eps=self.variance_epsilon,
# dropout_p=0.0,
# prenorm=False,
# residual_in_fp32=False,
# )
# ```
@use_kernel_forward_from_hub("LlamaRMSNorm")
class OriginalRMSNorm(nn.Module):
def __init__(self, hidden_size, variance_epsilon=1e-5):
...

**KernelModel에 대한 중요 참고 사항:**

**핵심 계승 (Kernel Inheritance):** `KernelRMSNorm` 클래스는 Triton 커널의 RMSNorm 구현인 `layer_norm_kernel_module.layers.LlamaRMSNorm` 를 상속받습니다. 이를 통해 최적화된 커널을 직접 사용할 수 있습니다.

**함수 접근 (Accessing the Function):** Triton 커널 생성자가 Hub 에서 레포지토리를 어떻게 구조화했는지에 따라 RMSNorm 함수 (`layer_norm_kernel_module.layers.LlamaRMSNorm.forward`, `layer_norm_kernel_module.rms_norm_forward`, 또는 기타) 를 정확히 접근하는 방식이 달라집니다. 올바른 함수/메서드와 그 서명을 찾기 위해 로드된 `layer_norm_kernel_module` 객체 (예: `dir()` 사용) 를 검사하거나 Hub 에서 커널의 문서를 확인해야 할 수 있습니다. 저는 `rms_norm_forward` 를 가능한 플레이스홀더로 사용하고 오류 처리를 추가했습니다.

**파라미터:** 이제 RMSNorm 와 일관되게 `rms_norm_weight`(편향 없음) 만 정의합니다.

최적화된 Triton RMSNorm 커널이 표준 PyTorch 버전보다 얼마나 빠른가요? 순차 전파 (forward pass) 를 벤치마킹하여 확인해 보겠습니다.

파일: `rmsnorm_benchmark.py`

```python
# /// script
# dependencies = [
# "numpy",
...

**기대된 결과:**
LayerNorm 과 마찬가지로, Triton 을 사용한 잘 튜닝된 RMSNorm 구현은 PyTorch 의 기본 버전보다 상당한 속도 향상을 제공할 수 있습니다—특히 NVIDIA Ampere 또는 Hopper GPU 와 같은 호환 하드웨어의 메모리 제한 (memory-bound) 작업 부하에서, 그리고 `float16` 또는 `bfloat16` 와 같은 저정밀도 타입에서.

**참고 사항:**
- 결과는 GPU, 입력 크기 및 데이터 타입에 따라 달라질 수 있습니다.
- 마이크로 벤치마킹은 실제 세계 성능을 왜곡할 수 있습니다.
- 성능은 커널 구현의 품질에 달려있습니다.
- 최적화된 커널은 오버헤드 때문에 작은 배치 크기에 이점을 줄 수 없습니다.

실제 결과는 하드웨어와 구체적인 커널 구현에 따라 다릅니다. 여기서는 L4 GPU 에서 보일 수 있는 예시입니다:

| Batch Size | Baseline Time (ms) | Kernel Time (ms) | Speedup |
|---|---|---|---|
| 256 | 0.2122 | 0.2911 | 0.72x |
| ... |

`kernels` 라이브러리는 여전히 성장 중이지만 이미 다양한 실제 프로젝트에서 사용되고 있습니다, 예를 들어:
- 텍스트 생성 추론 (Text Generation Inference): TGI 프로젝트는 `kernels` 라이브러리를 사용하여 텍스트 생성 작업을 위한 최적화된 커널을 로드하여 성능과 효율성을 개선합니다.
- Transformers: `Transformers` 라이브러리는 모델 코드를 변경하지 않고도 드롭 인 (drop in) 최적화된 레이어를 사용할 수 있도록 `kernels` 라이브러리를 통합했습니다. 이를 통해 사용자는 표준 및 최적화된 구현 사이를 쉽게 전환할 수 있습니다.

Hugging Face Kernel Hub 를 사용하여 최적화된 커널을 가져오고 사용하는 것이 얼마나 쉬운지 확인해 보았습니다. 직접 시도해 볼 준비가 되셨나요?

**라이브러리 설치:** `pip install kernels torch numpy`
호환 가능한 PyTorch 버전과 GPU 드라이버를 설치했는지 확인하세요.

**Hub 탐색:** `kernels` 태그 또는 `kernels-community` 와 같은 조직 내의 Hugging Face Hub 에서 사용할 수 있는 커널을 탐색하세요.

. 관련 커널 (활성화, attention, LayerNorm/RMSNorm 등의 normalization 등) 을 작업에 적합한 것으로 찾습니다.**실험:**자신의 모델에서 구성 요소를 교체해 봅니다. `get_kernel(