AI 기업들은 고성능 NVIDIA H100 및 A100 GPU 클러스터에 수백만 달러를 지출하고 있지만, 정작 이들이 시간의 70% 동안 완전히 유휴 상태로 방치되는 것을 지켜보고 있습니다. 이러한 현상을 **GPU Starvation (GPU 기아 현상)**이라고 합니다.

현대 텐서 코어 (Tensor Core)의 연산 속도는 전통적인 스토리지 아키텍처를 기하급수적으로 앞질렀습니다. 만약 레거시 NFS 어레이나 표준 클라우드 블록 스토리지 (Cloud Block Storage)를 사용하여 페타바이트 급의 비정형 학습 데이터(LLM 코퍼스, 컴퓨터 비전 이미지)를 GPU에 공급하려고 시도한다면, GPU는 데이터를 즉시 처리한 후 스토리지 계층이 따라올 때까지 대기하며 멈춰버릴 것입니다. 전통적인 스토리지 프로토콜은 무거운 Linux 커널 네트워크 스택을 거치기 때문에 치명적인 마이크로초 단위의 지연을 초래합니다.

GPU 연산 용량을 포화시키기 위해 인프라 아키텍트들은 **분산 병렬 파일 시스템 (Distributed Parallel File Systems)**을 구축해야 합니다. 이러한 시스템은 수십 개의 엔터프라이즈 NVMe 드라이브에 데이터를 동시에 스트라이핑(Striping)하여 CPU 병목 현상을 우회하고 데이터셋을 GPU 메모리로 직접 공급합니다. 이 분야의 절대적인 두 거물은 WekaFS와 Ceph입니다.

1단계: WekaFS vs Ceph - 엔터프라이즈 대결

AI 스토리지 패브릭을 설계할 때, 여러분은 논란의 여지 없는 오픈 소스의 제왕(Ceph)과 독점적인 성능의 괴물(WekaFS) 사이에서 선택을 강요받게 됩니다. 머신러닝 파이프라인을 확장하기 위해서는 이들의 아키텍처 차이를 이해하는 것이 매우 중요합니다.

WekaFS는 왜 그렇게 빠른가?

WekaFS는 **DPDK (Data Plane Development Kit)**와 SR-IOV를 활용합니다. 이는 말 그대로 Linux OS로부터 제어권을 완전히 빼앗아 옵니다. 커널이 네트워크 패킷을 처리하는 대신, WekaFS는 전용 CPU 코어를 할당하여 NVMe 드라이브와 네트워크 인터페이스를 직접 폴링(Polling)하게 함으로써 지연 시간을 절대적인 제로 수준으로 단축합니다. WekaFS의 NeuralMesh 아키텍처는 사용되지 않는 NVMe와 CPU를 GPU를 위한 거대하고 통합된 캐시로 효과적으로 전환합니다.

💰 FINOPS 경고: WekaFS 라이선스 함정

WekaFS의 DPDK 속도는 타의 추종을 불허하지만, 이는 막대한 재정적 부담을 동반합니다. WekaFS는 테라바이트/연(Terabytes/Year) 단위로 매우 비싼 소프트웨어 라이선스 비용을 부과합니다. 페타바이트(Petabytes) 단위의 데이터로 확장 중인 많은 AI 스타트업과 기업들에게, WekaFS의 반복적인 소프트웨어 라이선스 비용은 실제 물리적 NVMe 서버를 구매하는 비용보다 훨씬 빠르게 커질 것입니다.

왜 Ceph를 선택하는가?

Ceph는 CERN과 Bloomberg에서 페타바이트급 데이터를 처리하고 있습니다. Ceph는 라이선스 비용 없이 궁극의 유연성을 제공합니다 (벤더 종속성 제로 (Zero Vendor Lock-in)).
설정 직후의 순수 마이크로초(Microsecond) 지연 시간(Latency) 측면에서는 WekaFS를 이기지 못할 수도 있지만, 수백 개의 노드를 갖춘 대규모 400Gbps 네트워크 상에서 적절히 튜닝된 All-NVMe Ceph 클러스터는 이론적 한계치인 1 TiB/s (초당 테라바이트) 처리량(Throughput)을 달성할 수 있습니다. (참고: 1 TiB/s를 달성하려면 보통 수백 개의 전용 NVMe 노드와 같은 엄청난 하드웨어 규모가 필요합니다. 소규모 5개 노드 클러스터에서 이 수치를 기대하지 마십시오.)

2단계: 커널 SRE 해킹 (Secure IOMMU & C-States)

만약 Ceph를 배포하기로 결정했다면, 별도의 설정 없는 NVMe 드라이브의 기본 성능은 형편없을 것입니다. Linux OS가 드라이브의 성능을 억제하는 것을 막기 위해 반드시 심층적인 커널 레벨(Kernel-level) 튜닝을 수행해야 합니다.

🛡️ SRE SECURE GEM: IOMMU Spinlock 함정

NVMe 드라이브가 수백만 IOPS를 밀어낼 때, Linux IOMMU (Input-Output Memory Management Unit)는 메모리 주소를 충분히 빠르게 변환하는 데 어려움을 겪습니다. 이는 거대한 CPU 스핀락 (Spinlock) 경합을 유발하며, 결과적으로 클러스터의 IOPS를 사실상 절반으로 떨어뜨립니다.

보안 함정: 많은 초보자용 튜토리얼에서는 intel_iommu=off 옵션을 전달하라고 조언합니다. 이는 IOMMU를 완전히 비활성화하여, 직접 메모리 접근 (DMA, Direct Memory Access) 공격에 대한 보호를 제거하고 컨테이너 격리 (Container isolation)를 깨뜨립니다. 이는 멀티 테넌트 (Multi-tenant) 환경에서 심각한 보안 리스크가 됩니다.

안전한 SRE 해결책: 높은 신뢰도를 가진 베어 메탈 (Bare Metal) 서버의 경우, GRUB 설정(/etc/default/grub)을 편집하고 GRUB_CMDLINE_LINUX 문자열에 엄격히 iommu=pt (pass-through)를 추가하십시오. GRUB을 업데이트하고 재부팅합니다. 이렇게 하면 기본적인 하드웨어 보안을 유지하면서 성능 오버헤드를 안전하게 우회할 수 있으며, 랜덤 쓰기 (Random write) 성능을 두 배로 높일 수 있습니다.

둘째로, 현대의 CPU는 깊은 수면 상태 (C-States)로 진입하여 전력을 절약하도록 설계되었습니다. Ceph 스토리지 요청을 처리하기 위해 C6 상태에서 CPU 코어를 깨우는 데는 약 **0.133 밀리초 (milliseconds)**가 소요됩니다. AI 세계에서 이는 영겁과 같은 시간입니다.

# CPU 전원 관리 유틸리티 설치
sudo apt install linux-tools-common linux-tools-generic -y

...

3단계: 100Gbps RDMA 네트워크 필수 사항

Kioxia CM6와 같은 최신 엔터프라이즈 PCIe Gen 4/Gen 5 NVMe SSD 단일 드라이브는 7 GB/s 이상의 속도를 낼 수 있습니다 (이는 약 56 Gbps에 해당합니다). 만약 이러한 드라이브 10개를 단일 스토리지 노드에 배치하고 이를 표준 10Gbps 또는 25Gbps 네트워크에 연결한다면, 네트워크 스위치는 거대한 병목 지점 (Choke point)이 됩니다.

고성능 AI 스토리지 어레이를 구축하려면 반드시 100GbE 또는 400GbE 네트워킹을 구축해야 합니다. 또한, RoCEv2 (RDMA over Converged Ethernet) 또는 InfiniBand를 활용해야 합니다. RDMA를 사용하면 GPU 컴퓨팅 노드가 양쪽 서버의 CPU를 완전히 우회하여 스토리지 노드의 NVMe 메모리에서 데이터를 직접 읽을 수 있습니다.

💡 Tuning Note (튜닝 노트): 테스트 없이 MTU를 9000(Jumbo Frames)으로 무작정 높이지 마십시오. Mellanox NIC 펌웨어에 따라, Ceph 워크로드의 경우 TCP Segmentation Offload (TSO)가 기본 MTU인 1500에서 훨씬 더 나은 성능을 보이는 경우가 많습니다.

Phase 4: ReadWriteMany K8s Mandate (K8s의 ReadWriteMany 필수 요구사항)

AI 워크로드를 위해 Rook-Ceph을 통해 Kubernetes 클러스터에 스토리지를 배포할 때, 많은 아키텍트들이 실수로 **RBD (RADOS Block Device)**를 프로비저닝합니다. 이는 치명적인 아키텍처 설계 오류입니다.

RBD는 블록 스토리지(Block Storage)를 ReadWriteOnce (RWO) 방식으로 프로비저닝합니다. 이는 RBD 이미지가 한 번에 정확히 하나의 노드에만 마운트될 수 있음을 의미합니다. 분산 AI 추론(Inference) 또는 학습(Training) 중에는 서로 다른 물리적 서버에 있는 여러 GPU 포드(Pod)가 동일한 대규모 LLM 가중치(Weights)를 동시에 읽어야 합니다. 만약 RBD를 사용한다면, 70GB에 달하는 모델을 모든 개별 노드에 복제해야만 하는 상황에 직면하게 됩니다.

반드시 CephFS를 배포해야 합니다. CephFS는 전용 메타데이터 서버(Metadata Servers, MDS)를 갖춘 공유 분산 파일 시스템(Shared Distributed File System) 역할을 합니다. CephFS는 **ReadWriteMany (RWX)**를 네이티브로 지원하므로, 수백 개의 분산 GPU 워커(Worker)가 단일 고속 신뢰 소스(Source of Truth)로부터 데이터셋을 동시에 로드할 수 있게 해줍니다.

Phase 5: ServerMO Bare Metal Advantage (ServerMO 베어메탈의 이점)

공유 퍼블릭 클라우드 VM(Virtual Machine) 위에서는 높은 처리량(Throughput)을 가진 NVMe 스토리지 클러스터를 구축할 수 없습니다. 클라우드 제공업체는 네트워크 대역폭을 심하게 제한하고, 하이퍼바이저(Hypervisor) 뒤로 NVMe 액세스를 추상화하며, 대규모 데이터셋을 이동할 때 터무니없이 높은 데이터 전송(Egress) 비용을 부과합니다.

WekaFS DPDK의 진정한 마이크로초(Microsecond) 단위 지연 시간(Latency)이나 최적화된 Ceph NVMe 클러스터의 성능을 끌어내려면, 반드시 ServerMO 전용 GPU 서버에 배포해야 합니다. 당사의 전용 베어메탈 서버(Dedicated Bare Metal Servers)는 PCIe Gen5 레인, 엔터프라이즈 NVMe 어레이, 그리고 전용 100Gbps 이상의 무제한 네트워킹에 대해 가상화되지 않은 로우(Raw) 액세스를 제공하여, 귀하의 AI 가속기(Accelerators)에 데이터가 즉각적이고 지속적으로 공급되도록 보장합니다.

💬 AI Storage Architecture FAQ (AI 스토리지 아키텍처 FAQ)

왜 내 AI 학습 클러스터는 GPU Starvation(GPU 기아 현상)을 겪나요?

GPU Starvation은 초고속 가속기(NVIDIA H100 등)가 스토리지 계층에서 데이터를 공급하는 속도보다 더 빠르게 데이터를 처리할 때 발생합니다. 기존의 NFS나 느린 클라우드 블록 스토리지(Cloud Block Storage)는 GPU를 유휴 상태(I/O 대기)로 만듭니다. 이를 해결하려면 100Gbps RDMA 네트워크와 결합된 All-NVMe 병렬 파일 시스템(WekaFS 또는 Ceph)이 필요합니다.

AI 워크로드에서 WekaFS가 Ceph보다 빠른 이유는 무엇인가요?

WekaFS는 DPDK (Data Plane Development Kit)와 SR-IOV를 사용하여 Linux 커널 네트워크 스택을 완전히 우회합니다. WekaFS의 NeuralMesh 아키텍처는 CPU 컨텍스트 스위칭(Context Switching) 없이 NVMe 드라이브에서 GPU 메모리로 데이터를 직접 라우팅하여, 타의 추종을 불허하는 마이크로초(Microsecond) 단위의 지연 시간(Latency)을 제공합니다. 하지만 이러한 속도에는 TB당 막대한 연간 라이선스 비용이 따릅니다.

CephFS vs RBD: 머신러닝(Machine Learning)에는 어떤 것이 더 나은가요?

LLM 학습 및 분산 추론(Distributed Inference)에는 CephFS가 더 우수합니다. AI 워크로드는 여러 GPU 노드가 동일한 모델 가중치(Model Weights)를 동시에 읽어야 합니다. CephFS는 다중 작성자 POSIX 공유 액세스(ReadWriteMany)를 제공하는 반면, RBD는 엄격하게 단일 호스트 전용 블록 연결(ReadWriteOnce)을 위해 설계되었습니다.

Ceph OSD를 위해 intel_iommu=off 대신 iommu=pt를 사용해야 하는 이유는 무엇인가요?

High-IOPS NVMe 드라이브는 IOMMU 메모리 변환 과정에서 극심한 CPU 스핀락 경합(Spinlock Contention)을 유발합니다. intel_iommu=off는 변환을 완전히 비활성화하여 DMA 보안 위험을 초래하는 반면, iommu=pt (Pass-through)를 사용하면 기본적인 하드웨어 보안을 유지하면서 성능 오버헤드를 안전하게 우회할 수 있습니다.

5노드 Ceph 클러스터가 1 TiB/s의 처리량(Throughput)을 달성할 수 있나요?

아니요. Ceph가 수학적으로 1 TiB/s(초당 테라바이트)를 달성할 능력은 있지만, 그 규모에 도달하려면 수백 개의 전용 NVMe 노드와 거대한 400GbE (RoCEv2) 스파인-앤-리프(Spine-and-Leaf) 네트워크 패브릭이 필요합니다.

👉 ServerMO에서 전체 벤치마크 가이드를 읽어보세요:

WekaFS vs Ceph on Bare Metal: Stop AI GPU Starvation | ServerMO