llama.cpp WebGPU 및 다양한 플랫폼 지원 업데이트 요약

이번 llama.cpp의 b8892 릴리스는 성능 최적화와 플랫폼 호환성 확장에 중점을 둔 대규모 업데이트입니다. 주요 개선 사항은 다음과 같습니다.

🌐 WebGPU API 구현 및 비동기 처리 강화

가장 눈에 띄는 변화는 웹 기반 그래픽 컴퓨팅 API인 WebGPU를 통합한 것입니다. 개발자들은 set_tensor_async와 이벤트(event) 생성/삭제 API 등을 추가하여, 브라우저 환경에서 대규모 텐서 연산을 비동기적으로 처리할 수 있게 되었습니다. 이는 사용자 인터페이스가 멈추는 현상 없이 부드럽고 효율적인 AI 추론 경험을 제공하는 데 필수적입니다.

💻 광범위한 플랫폼 및 아키텍처 지원 확대

llama.cpp는 이제 매우 폭넓은 하드웨어와 운영체제 조합을 지원하여 사용자가 어떤 환경에 있든 최적의 성능을 기대할 수 있게 되었습니다.

• macOS: Apple Silicon (arm64)과 Intel (x64)를 모두 지원하며, KleidiAI 활성화 옵션까지 제공합니다.
• Linux: Ubuntu 기반으로 x64 및 arm64 CPU 환경 외에도 그래픽 가속을 위한 Vulkan, 그리고 전문적인 AI 프레임워크인 ROCm 7.2와 OpenVINO를 통한 최적화 빌드를 지원합니다. 특히 s390x 아키텍처도 추가되었습니다.
• Windows: 단순 CPU 기반을 넘어, CUDA 12/13 및 Vulkan, SYCL, HIP 등 다양한 GPU 가속 기술 스택을 포괄적으로 지원하며 엔터프라이즈급 환경에서의 활용도를 극대화했습니다.
• 모바일/임베디드: Android (arm64)와 openEuler(x86, aarch64)까지 지원 범위를 확장하여 엣지 디바이스 및 서버 환경에 대한 접근성을 높였습니다.

✨ 코드 구조 개선 및 최적화

기술적인 측면에서는 API를 함수 핸들러로 업데이트하고, 일회성 버퍼(one-shot buffer) 대신 WriteBuffer와 같은 직접 큐(direct queue) 방식을 사용하도록 변경하여 메모리 관리 효율성을 높였습니다. 또한, 로컬 CI 실행을 위한 작업들을 정리하고 WebGPU 전용 워크플로우를 분리하는 등 프로젝트의 구조적 안정성까지 확보했습니다.

이러한 업데이트는 llama.cpp가 단순한 LLM 추론 엔진을 넘어, 범용적인 AI 컴퓨팅 라이브러리로 진화하고 있음을 보여줍니다.