Sandisk와 SK hynix는 화요일에 High Bandwidth Flash (HBF) 사양을 공식적으로 소개했습니다. 이는 두 회사가 공동 개발한 스토리지 기술로, 3D NAND의 비휘발성 (non-volatility)과 고대역폭 메모리 (High Bandwidth Memory, HBM)의 성능을 결합하여 AI 추론 (AI inference) 시스템에 유용하게 쓰일 것으로 기대됩니다. 이 사양은 Open Compute Project (OCP)를 통해 공개되었으므로, 독점 인터페이스가 아닌 개방형 표준 (open standard)이 될 것입니다.

Tom's Hardware Premium Roadmaps

a snippet from the HBM roadmap article

(이미지 출처: Future)

• High-Bandwidth Memory (HBM) 로드맵
• Nvidia Enterprise GPU 및 CPU 로드맵
• AI 가속기 (AI accelerator) 로드맵
• 데스크톱 GPU 로드맵
• 3D NAND 로드맵

초기 사양은 8단(8-Hi) 또는 16단(16-Hi) NAND 다이 스택(die stacks)을 사용하여 최대 512GB 용량의 HBF 패키지를 정의하지만, 이는 표준 3D NAND 스택이 아니라 빠른 인터페이스를 갖춘 특수 장치입니다. 실제로 Sandisk는 이를 3D NAND 다이 스택이라기보다 HBF 코어 다이(HBF core dies)라고 부른 바 있습니다.

HBF의 성능은 약 0.4 TB/s에서 3.0 TB/s 사이의 세 가지 대역폭 등급으로 나뉩니다 (다만, 이 수치가 전체 HBF 서브시스템을 설명하는 것인지 아니면 패키지당 대역폭인지는 확실하지 않습니다). 이처럼 거대한 성능 범위는 Sandisk와 SK hynix가 HBF가 다양한 구현 방식과 세대를 특징으로 하는 다년 차 로드맵(roadmap)을 가질 것으로 기대하고 있음을 시사합니다. 주목할 점은 가장 성능이 뛰어난 HBF 구현체(3 TB/s)가 단일 HBM4 메모리 스택의 메모리 대역폭(2 TB/s)을 능가하도록 설정되어 있다는 것이지만, 지연 시간(latency) 측면에서는 HBM4를 이기기 어려울 것입니다.

SanDisk's HBF memory concept

(이미지 출처: SanDisk)

흥미롭게도, SK hynix는 HBF가 이기종 컴퓨팅 플랫폼(heterogeneous computing platforms)과의 통합을 단순화하기 위해 Universal Chiplet Interconnect Express (UCIe) 표준을 사용한다고 주장하는 반면, Sandisk는 HBF가 'xPU-HBF' 인터페이스를 채택할 예정이라고 주장합니다. 이는 Broadcom이나 Marvell 같은 기업들에 의해 구현된 UCIe에 대한 그들만의 정의일 수 있습니다.

용량 및 성능 목표 외에도, 이 사양은 적층된 HBF 장치를 위한 전기적 및 인터페이스 특성, 패키징 및 신뢰성 가이드라인, 그리고 소프트웨어 I/O 요구 사항을 설정합니다. 현재로서는 이러한 사양들이 OCP에 의해 공식적으로 발표되지는 않았습니다.

SanDisk's HBF memory concept

(이미지 출처: SanDisk)

단일 512GB HBF 패키지에서 400 GB/s의 대역폭 (bandwidth)을 추출하는 것은 결코 쉬운 작업이 아닙니다. 이러한 패키지를 구현하기 위해, Sandisk는 전용 읽기/쓰기 경로를 사용하여 동시에 액세스할 수 있는 수많은 어레이 (array)를 특징으로 하는 16개의 HBF 코어 다이 (core die)를 사용할 계획을 세운 적이 있습니다. 한편, 최대 64 GT/s로 동작하고 64개의 레인 (lane)을 특징으로 하는 단일 UCIe 인터페이스를 사용하면 패키지당 400 GB/s 이상의 대역폭에 도달하는 것이 가능합니다. 하지만 이는 HBF 베이스 다이 (base die)가 상당히 복잡한 실리콘 조각이 될 것임을 의미합니다.

Sandisk와 SK hynix는 근접 메모리 대역폭 (near-memory bandwidth)과 NAND 플래시 (NAND flash)의 더 높은 용량 및 비휘발성 (non-volatility)을 결합함으로써, HBF를 AI 추론 (inference) 워크로드를 위한 새로운 메모리 계층 (memory tier)으로 포지셔닝하고 있습니다. 이 기술은 HBM만으로는 경제적으로 제공할 수 있는 것보다 연산 장치 (compute)에 훨씬 더 가까운, 실질적으로 더 큰 메모리 풀 (memory pool)을 요구하는 워크로드를 겨냥하고 있습니다. 예를 들어, HBM4 스택의 최대 용량은 64GB인 반면, HBF 스택은 최대 512GB를 제공할 수 있습니다. 대역폭이 더 낮더라도, 이러한 메모리는 추론 워크로드에 유용할 수 있습니다.

HBF에 대한 가장 큰 의문은 아마도 누가 이 기술을 채택할 것인가 하는 점일 것입니다. Sandisk와 SK hynix가 2025년에 HBF 사양 정의를 위해 협력할 계획을 발표한 이후, Google과 Tenstorrent만이 HBF 컨소시엄 (consortium) 참여에 관심을 표명했습니다. 한편, AMD, Broadcom, Intel, Nvidia, Marvell, Micron, Qualcomm, Samsung, 그리고 Western Digital은 현재까지 HBF에 대해 어떠한 관심도 표명하지 않았습니다.