요약

Vulkan 1.4.356 릴리스에서 OCP의 Microscaling(MX) 포맷을 지원하는 VK_EXT_shader_ocp_microscaling_types 확장 기능이 추가되었습니다. 이를 통해 AI 학습 및 추론의 효율성을 높이고 메모리 대역폭 요구 사항을 낮출 수 있습니다.

핵심 포인트

OCP MX 포맷(MXFP4, MXFP8 등) 지원을 위한 Vulkan 확장 기능 도입
AI 학습 및 추론의 연산 처리량 향상 및 메모리 대역폭 절감
NVIDIA, Samsung, Imagination, Arm 등 주요 기업의 개발 참여
Vulkan 1.4.356 릴리스의 주요 업데이트 사항

Vulkan, 머신러닝 지원을 위해 OCP의 Microscaling MX 포맷용 확장 기능 추가

VULKAN

Open Compute Project의 Microscaling Formats (MX)에는 AI 학습 및 추론 (inference)의 효율성을 향상시키기 위한 MXFP4, MXFP6, MXFP8 및 MXINT8이 포함되어 있습니다. VK_EXT_shader_ocp_microscaling_types는 OCP MX 포맷 사양에 정의된 부동 소수점 (floating-point) 타입을 지원하지만, 마이크로스케일링된 텐서 (microscaled tensors)나 마이크로스케일링된 데이터에 대한 연산을 직접적으로 지원하지는 않습니다.

산업계의 요구에 따라 연산 처리량 (compute throughput)을 높이고 메모리 대역폭 (memory bandwidth) 요구 사항을 낮추기 위해 이러한 새로운 데이터 타입을 지원하는 확장 기능 개발이 진행되었습니다. NVIDIA, Samsung, Imagination, 그리고 Arm은 지난 몇 달 동안 개발되어 온 VK_EXT_shader_ocp_microscaling_types 확장 기능에 기여했습니다.

VK_EXT_shader_ocp_microscaling_types의 도입은 오늘 발표된 Vulkan 1.4.356 릴리스의 주요 하이라이트입니다.

AI 자동 생성 콘텐츠

원문 바로가기

Vulkan, 머신러닝 지원을 위해 OCP의 Microscaling MX 포맷용 확장 기능 추가

요약

핵심 포인트

Vulkan, 머신러닝 지원을 위해 OCP의 Microscaling MX 포맷용 확장 기능 추가

댓글

Vulkan, 머신러닝 지원을 위해 OCP의 Microscaling MX 포맷용 확장 기능 추가