llama.cpp 최신 빌드(b8891): WebGPU 및 다양한 플랫폼 지원 강화

llama.cpp의 b8891 릴리스는 모델 추론 엔진의 성능 최적화와 플랫폼 호환성 확장에 중점을 둔 중요한 업데이트입니다. 주요 변경 사항은 WebGPU 백엔드 기능 강화, 시스템 안정성 향상, 그리고 광범위한 하드웨어/OS 지원을 포함합니다.

🚀 핵심 기술 개선: WebGPU 및 연산 최적화

가장 주목할 만한 변화는 WebGPU 백엔드의 성능 관련 개선입니다. 개발자들은 RMS_NORM + MUL 연산에 대한 퓨전(fusion) 기능을 추가했습니다. 이 기능은 두 개의 독립적인 연산을 하나의 커널로 결합하여 GPU 메모리 접근 및 계산 오버헤드를 줄임으로써 효율성을 극대화합니다.

더 나아가, 이번 업데이트는 GGML_WEBGPU_DISABLE_FUSION 플래그를 도입함으로써, 사용자가 필요에 따라 이러한 커널 퓨전 기능을 명시적으로 비활성화할 수 있도록 유연성을 제공했습니다. 이는 디버깅이나 특정 환경 제약 조건에서 매우 중요한 기능입니다.

또한, WebGPU 컨텍스트 관리와 관련하여 num_fused_ops의 처리가 개선되었으며, 전반적인 메모리 정리(misc cleanup) 작업이 이루어져 안정성이 높아졌습니다. 마지막으로, 부동소수점 오차 처리(eps handling)를 수정하고 C++20 초기화기 사용 문제를 해결하는 등 코드 레벨의 안정성 향상도 이루어졌습니다.

💻 광범위한 플랫폼 및 아키텍처 지원

b8891 버전은 이전보다 훨씬 더 많은 하드웨어와 운영체제 조합을 공식적으로 지원합니다. 이는 llama.cpp가 범용 AI 추론 엔진으로서의 입지를 더욱 공고히 함을 의미합니다.

주요 지원 플랫폼:

• macOS/iOS: Apple Silicon (arm64) 및 Intel (x64) 아키텍처 모두를 지원하며, KleidiAI 활성화 옵션도 제공됩니다. 이는 애플 생태계에서의 최적화된 성능을 보장합니다.
• Linux: CPU 기반의 Ubuntu x64와 arm64는 물론, 고성능 가속기 환경까지 폭넓게 커버합니다. 특히 Vulkan (x64, arm64), ROCm 7.2 (x64), 그리고 OpenVINO (x64)를 지원함으로써 다양한 산업용 및 연구용 하드웨어에 통합될 수 있습니다.
• Windows: CPU 외에도 CUDA 12 및 CUDA 13을 지원하는 빌드가 제공됩니다. 이는 NVIDIA GPU 환경에서의 최신 성능 이점을 활용할 수 있게 합니다. 또한, Vulkan, SYCL, HIP 등 여러 병렬 컴퓨팅 API를 통해 범용성을 확보했습니다.
• 기타: Android (arm64), openEuler (x86 및 aarch64) 등 다양한 임베디드 및 엔터프라이즈 환경까지 지원 영역을 확장했습니다.

이러한 다각적인 빌드 제공은 개발자들이 특정 하드웨어 제약이나 최적화 목표에 맞춰 llama.cpp를 커스터마이징하고 배포할 수 있는 높은 자유도를 의미합니다.