opencl: Adreno 최적화를 위한 MoE - MxFP4 (#22301) MoE Mxfp4 CLC 커널 추가 GPU 에서 라우터 재정렬 (
요약
이 기술 기사는 OpenCL 환경에서 Adreno GPU 최적화를 목표로 MoE(Mixture of Experts) 아키텍처와 MxFP4 정밀도를 지원하는 CLC 커널을 추가하고 관련 기능을 개선한 내용을 담고 있습니다. 주요 변경 사항으로는 MoE mxfp4 테스트를 위한 `test-backend-ops` 도입, GPU에서의 라우터 재정렬 기능 구현 등이 포함됩니다. 또한, 다양한 플랫폼(macOS, iOS, Linux, Android, Windows 등) 및 백엔드(CUDA, Vulkan, ROCm, SYCL 등)에 대한 광범위한 호환성 테스트와 최적화 작업이 이루어졌습니다.
핵심 포인트
- Adreno GPU 최적화를 위한 MoE (Mixture of Experts) 지원 강화
- MxFP4 정밀도를 활용하는 CLC 커널 추가 및 구현
- GPU에서 라우터 재정렬(router reorder) 기능 도입
- CUDA, Vulkan, ROCm, SYCL 등 광범위한 백엔드 및 플랫폼 지원 확보
opencl: Adreno 최적화를 위한 MoE - MxFP4 (#22301)
MoE Mxfp4 CLC 커널 추가
GPU 에서 라우터 재정렬 (router reorder)
test-backend-ops 를 통한 MoE mxfp4 테스트
Adreno CLC 제거 및 llama-model.cpp 에서 putenv 제거
들여쓰기 스타일 및 공백 수정
opencl: 불필요한 헤더 제거
opencl: cl_program 객체 저장 안 함
opencl: 불필요한 assert 제거
정밀도 문제 수정
공동 작성자: Li He (lih@qti.qualcomm.com)
macOS/iOS:
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI 활성화됨)
- macOS Intel (x64)
iOS XCFramework
Linux: - Ubuntu x64 (CPU)
- Ubuntu arm64 (CPU)
- Ubuntu s390x (CPU)
- Ubuntu x64 (Vulkan)
- Ubuntu arm64 (Vulkan)
- Ubuntu x64 (ROCm 7.2)
- Ubuntu x64 (OpenVINO)
- Ubuntu x64 (SYCL FP32)
- Ubuntu x64 (SYCL FP16)
Android: - Android arm64 (CPU)
Windows: - Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows x64 (CUDA 12) - CUDA 12.4 DLLs
- Windows x64 (CUDA 13) - CUDA 13.1 DLLs
- Windows x64 (Vulkan)
- Windows x64 (SYCL)
- Windows x64 (HIP)
openEuler: - openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기