시리즈 두 번째 편: "실행 가능"에서 "어떻게 실행하는가"로, TurboFieldfare의 엔지니어링 마법 심층 분석

이전 튜토리얼에서는 TurboFieldfare가 어떻게 2GB 메모리 내에서 Gemma 4 26B MoE 모델을 실행하는지 경험해 보았습니다. 오늘은 이 "성능 마술 기계"를 분해하여, 그 이면에 어떤 엔지니어링 수단이 사용되었는지, 그리고 왜 이러한 수단들이 Apple Silicon에서 놀라운 효과를 발휘할 수 있는지 살펴보겠습니다.

1. Shared Weights 메커니즘: 26B 파라미터 중 "거품" 제거

1.1 MoE의 "겉보기 비대함" 본질

Gemma 4 26B는 Mixture-of-Experts (MoE) 모델입니다. 전통적인 Dense 모델과 달리, MoE의 26B 파라미터가 매 추론마다 모두 참여하는 것은 아닙니다. 그 구조는 대략 다음과 같습니다:

Total Params: 26B
├── Embedding + Output: ~2B
├── Shared Dense Layers: ~1B
...

핵심 통찰: 이 64개 Expert의 구조는 완전히 동일합니다. 각 Expert는 360M 파라미터의 피드포워드 네트워크 (FFN)이며, 단지 학습된 가중치(weights)가 다를 뿐입니다.

1.2 공유 가중치의 수학적 원리

TurboFieldfare의 핵심 혁신은 다음과 같습니다: Expert의 구조가 동일하다면, 왜 대부분의 가중치를 공유하지 않는가?

# 전통적인 MoE 저장 방식
expert_weights = [expert_1_ffn, expert_2_ffn, ..., expert_64_ffn]  # 23B params

...

수학적 절감:

• 원본 파라미터: 26B
• 공유 후 유일 파라미터: ~2.1B
• 압축률: 12.4×

모델 파일 크기는 (FP16 기준) ~13GB에서 ~1.1GB (4-bit 양자화 후)로 직접 감소합니다.

1.3 왜 가능한가?

이 설계의 이론적 기초는 LoRA (Low-Rank Adaptation) 사상의 확장입니다. MoE 내의 Expert 가중치에는 많은 중복성이 존재하며, 이들은 저차원 부분 공간 (low-rank subspace)을 공유합니다. TurboFieldfare는 공유된 기저 (shared base)와 각 Expert의 저차원 오프셋 (low-rank offset)을 학습함으로써, 정밀도를 유지하면서 저장 용량을 대폭 압축합니다.

// Metal Shader에서의 가중치 복구
kernel void load_expert_weights(
    device const float4* shared_base,
...

2. SSD 스트리밍 로딩: 스토리지를 메모리의 확장으로 만들기

MoE 추론의 희소성 (sparsity): 각 토큰은 2~4개의 Expert만 활성화합니다 (Top-K 라우팅). 이는 64개 Expert 중 최대 6%의 가중치만 실제로 사용됨을 의미합니다.

스트리밍 로딩 파이프라인

추론 루프:
1. 공유 기저 로드 (메모리에 상주)
2. 입력 토큰 수신
...

Apple Silicon SSD 속도의 이점

여기 중요한 숫자가 있습니다: M 시리즈 칩의 SSD 읽기 속도는 5~7 GB/s에 달합니다.

단일 Expert 오프셋: ~360M params × 0.5 bytes = 180MB
로드 시간: 180MB / 6GB/s ≈ 30ms

GPU가 단일 Expert를 계산하는 데 약 50100ms가 소요됩니다. **SSD 로딩 속도는 GPU 계산 속도보다 23배 빠르며**, 전혀 병목 현상이 되지 않습니다.

지능형 캐시 전략

TurboFieldfare는 LRU 캐시를 구현했습니다:

캐시 용량: 8개 Expert (~1.4GB)
적중률 (Hit rate): 약 85% (인접한 토큰이 유사한 Expert로 라우팅됨)
SSD 읽기 횟수: 85% 감소, 토큰당 평균 0.3회의 SSD 읽기 발생

3. 4-bit 양자화: 정밀도와 메모리의 균형

TurboFieldfare는 GPTQ 스타일의 그룹 양자화 (group_size=128)를 채택합니다:

원본 FP16 모델: 26B × 2 bytes = 52GB (불가능)
4-bit 양자화 후: 26B × 0.5 bytes = 13GB (여전히 너무 큼)
공유 가중치 + 4-bit: 2.1B × 0.5 bytes = 1.05GB ✅

런타임 메모리:

모델 가중치: 1.05GB
KV Cache (4096 context): ~0.7GB
활성화 값 (Activation) + 중간 버퍼: ~0.25GB
...

4. Swift + Metal 엔진: 왜 llama.cpp를 사용하지 않는가?

llama.cpp의 세 가지 한계:

1. CPU 우선 설계: Metal 지원이 사후에 추가되어 GPU 활용률이 높지 않음
2. 비효율적인 메모리 관리: 모든 가중치를 한 번에 로드함
3. MoE 최적화 부족: 희소 라우팅 (Sparse Routing)에 대한 전용 최적화가 없음

TurboFieldfare는 MPS (Metal Performance Shaders) 행렬 곱셈 + 커스텀 MoE 커널 (Kernel)을 사용하여, 한 번의 호출로 여러 전문가 (Expert)를 처리하며, Metal 벡터화 명령과 결합하여 llama.cpp보다 60% 이상 빠른 속도를 보여줍니다.

5. 실전 성능 비교

6. 아키텍처 다이어그램

┌─────────────────────────────────────────────────────────────┐
│                    TurboFieldfare 아키텍처                       │
├─────────────────────────────────────────────────────────────┤
...

7. 한계 및 전망

현재 한계

• 컨텍스트 병목: 8192 컨텍스트 (Context) 시 KV 캐시 (KV Cache)가 3.75GB 필요하며, 가중치를 포함하면 총 4.8GB가 소요됨
• 배치 추론 (Batch Inference): 스트리밍 로딩 특성상 batch_size=1만 지원함
• 정밀도 손실: 공유 가중치 (Shared Weights) + 4-bit ≈ 2.8% 정밀도 손실 (MMLU 벤치마크 기준)

미래 방향

1. 동적 양자화 (Dynamic Quantization): 중요한 토큰 (Token)은 FP16을 사용하고, 일반 토큰은 4-bit를 사용
2. 예측적 프리로딩 (Predictive Preloading): 1~2단계 앞서 전문가 (Expert)를 미리 로드
3. 다중 장치 분산 (Multi-device Distributed): SSD + RAM + VRAM 3단계 스토리지 활용
4. 희소 어텐션 (Sparse Attention): 슬라이딩 윈도우 어텐션 (Sliding Window Attention)을 통해 KV 캐시를 O(n)에서 O(w)로 감소

결론

TurboFieldfare는 소프트웨어 공학의 힘을 보여줍니다: 더 비싼 하드웨어가 필요한 것이 아니라, 더 똑똑한 알고리즘이 필요할 뿐입니다. 공유 가중치, 스트리밍 로딩, 양자화 최적화 및 네이티브 Metal 엔진을 통해 Apple Silicon에서 "불가능한" 성능을 구현해냈습니다.

시사점: AI 추론 분야에서는 **스토리지 계층의 지능적 스케줄링 (Intelligent Scheduling)**이 단순히 연산 능력을 추구하는 것보다 더 중요할 수 있습니다.

관련 리소스:

• TurboFieldfare GitHub 저장소
• Metal Performance Shaders 문서