Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
hexagon: add HTP kernel for GGML_OP_GATED_DELTA_NET (#22837) Implement the Gated
이 기술 기사는 GGML_OP_GATED_DELTA_NET 연산을 위해 Hexagon 프로세서에 HTP(High Throughput) 커널을 구현하는 과정을 다룹니다. 이 개선 사항은 프롬프트 처리(PP) 경로와 토큰 생성(TG) 경로 모두에서 최적화된 융합 커널을 제공하며, 특히 TG 경로의 K/Q/게이트 벡터 재로드 오버헤드를 2배 감소시킵니다. 또한 macOS, Linux, Android, Windows 등 광범위한 다양한 아키텍처와 프레임워크(CUDA, Vulkan, ROCm, OpenVINO 등)를 지원하도록 포팅 범위를 확장했습니다.
5월 9일8
llama.cppAI 번역헤드라인
cuda: snake 활성화 연산자 병합 (곱셈, 사인, 제곱, 곱셈, 덧셈) (#22667) cuda: snake 활성화 연산자 병합 (곱셈,
본 기술 기사는 CUDA 환경에서 'snake'라는 복잡한 활성화 연산자(y = x + sin(a*x)^2 * inv_b)를 단일 요소별 커널로 병합하는 과정을 다룹니다. 이를 통해 기존의 여러 개별 연산자로 분해되던 구조를 효율적으로 재작성하여, BigVGAN이나 Vocos 같은 오디오 디코더에서 발생하는 계산 부하를 줄이고 성능을 최적화합니다. 이 작업은 F32, F16, BF16 등 다양한 데이터 타입과 여러 플랫폼(CUDA, CPU, macOS, Linux 등)에 걸쳐 테스트 및 적용되었습니다.
5월 8일10
llama.cppAI 번역헤드라인
b9070
이 기술 기사는 OpenCL을 사용하여 Adreno GPU에 대한 Q4_0 MoE GEMM 및 CLC 패스 검증(sanity check) 기능을 추가한 업데이트 내용을 담고 있습니다. 주요 개선 사항으로는 코드 가독성 향상을 위한 `#if` 블록 분할, 사용하지 않는 `cl_program` 제거, 그리고 전반적인 공백 수정 등이 포함되었습니다. 이 릴리스는 macOS, iOS, Linux, Android, Windows 등 광범위한 플랫폼과 다양한 백엔드(CUDA, Vulkan, SYCL, ROCm 등)를 지원하며, 여러 아키텍처 및 운영체제 환경에 걸쳐 테스트가 이루어졌음을 보여줍니다.
5월 8일6
llama.cppAI 번역헤드라인
b9064
이 기술 기사는 'llama' 프로젝트의 디바이스 상태 저장 및 복구 기능을 개선한 업데이트에 대한 배포 목록을 제공합니다. macOS, iOS, Linux(다양한 아키텍처 및 백엔드 지원), Android, Windows, openEuler 등 광범위한 플랫폼과 환경에서 다양한 빌드가 포함되어 있습니다. 이는 llama 모델의 범용성과 접근성을 크게 향상시키는 중요한 업데이트입니다.
5월 8일7
llama.cppAI 번역헤드라인
b9055
이 기술 기사는 Mimo v2.5 모델을 지원하기 위한 업데이트 내용을 담고 있습니다. 주요 수정 사항으로는 `modify_tensors`의 행 분할 문제 해결, 어텐션 가중치 스케일링(attn_value scale) 누락 처리, 그리고 TP (Tensor Parallelism) 반복 순서 조정 등이 포함됩니다. 또한, Mimo v2.5 모델에 대한 GGUF 변환 및 다양한 운영체제/하드웨어 아키텍처(macOS, Linux, Windows, Android 등)에서의 지원을 확장하고 최적화하는 작업이 이루어졌습니다.
5월 7일5
llama.cppAI 번역헤드라인
b9058
이 기술 기사는 Llama 모델의 상태 복원(restore state) 과정에서 불필요한 시퀀스 ID(seq_id) 확인 로직을 제거하는 개선 사항에 대한 릴리스 노트를 담고 있습니다. 이 최적화는 다양한 운영체제 및 아키텍처 환경(macOS, iOS, Linux, Android, Windows 등)에서 Llama 모델의 성능과 안정성을 향상시키는 것을 목표로 합니다.
5월 7일6
llama.cppAI 번역헤드라인
b9038
ggml 라이브러리가 OpenCL 메모리 추정 기능을 추가하고 이를 통해 성능 최적화가 가능해졌습니다. 또한, macOS, iOS, Linux, Android, Windows 등 광범위한 운영체제와 아키텍처를 지원하며 다양한 백엔드(CUDA, Vulkan, ROCm, SYCL 등) 통합을 완료하여 플랫폼 호환성과 범용성을 크게 향상시켰습니다.
5월 7일10
llama.cppAI 번역헤드라인
b9049
llama.cpp의 v0.2.0-b9049 버전 업데이트는 MiniCPM-V 4.6 모델 지원을 주요 기능으로 추가했습니다. 이 외에도 전반적인 코드 버그 수정, 최적화(예: flash attention 지원), 그리고 다양한 플랫폼 및 아키텍처에 대한 광범위한 빌드 호환성을 확보했습니다. 사용자는 macOS, Linux (CPU/GPU 가속 포함), Android, Windows 등 거의 모든 주요 환경에서 이 업데이트된 llama.cpp를 사용할 수 있습니다.
5월 7일10
llama.cppAI 번역헤드라인
b9045
llama.cpp v0.0.52는 IBM Granite 모델군에 대한 지원을 대폭 확장하여, 특히 음성 인식(Speech) 기능을 갖춘 Granite-4.0-1B-Speech 모델의 GGUF 변환기 지원을 추가했습니다. 이 릴리스는 GraniteSpeechTextModel을 기존 GraniteModel로 통합하고, Conformer 인코더와 QFormer 프로젝터 등 복잡한 오디오 처리 아키텍처를 효율적으로 구현하는 구조 개선 사항들을 포함합니다. 다양한 플랫폼(macOS, Linux, Windows, Android 등)에 걸쳐 최적화된 지원을 제공하며, 여러 하드웨어 가속기 및 백엔드를 포괄하여 범용성과 성능을 크게 향상시켰습니다.
5월 6일10
llama.cppAI 번역헤드라인
b9041
ggml-cpu 프로젝트는 CPU 백엔드에서 RMS_NORM과 MUL 연산을 병합하여 성능을 최적화했습니다. 이 업데이트를 통해 macOS(Apple Silicon 및 Intel), Linux(다양한 아키텍처 및 API 지원 포함), Android, Windows, openEuler 등 광범위한 플랫폼에 걸쳐 다양한 하드웨어 가속기 및 CPU 환경에서 개선된 효율성을 제공합니다.
5월 6일9
llama.cppAI 번역헤드라인
b9033
이 기술 기사는 ggml 라이브러리가 지원하는 광범위한 플랫폼 및 아키텍처 목록을 보여줍니다. macOS/iOS의 Apple Silicon(arm64)과 Intel(x64), 그리고 Linux 환경에서 Ubuntu, openEuler 등 다양한 운영체제와 CPU 아키텍처를 포괄합니다. 또한, CUDA, Vulkan, ROCm, OpenVINO, SYCL, HIP 등 최신 하드웨어 가속 및 컴퓨팅 API에 대한 지원을 강조하며, 개발자들이 어떤 환경에서도 모델을 효율적으로 실행할 수 있도록 설계되었음을 알 수 있습니다.
5월 5일12
llama.cppAI 번역헤드라인
b9026
이 기술 기사는 ggml 라이브러리를 활용하여 빠른 Walsh-Hadamard 변환(WHT)을 통해 KV 회전 기능을 구현하는 방법을 다룹니다. 이 기능은 다양한 운영체제 및 아키텍처(macOS, iOS, Linux, Android, Windows 등)와 백엔드 가속기(CUDA, Vulkan, ROCm, OpenVINO, SYCL 등)를 지원하도록 포팅되었음을 보여줍니다.
5월 5일8
llama.cppAI 번역헤드라인
b9019
본 릴리스는 llama.cpp 프로젝트의 v0.0.27 업데이트로, 모델 구조 정의 개선과 빌드 시스템 전반에 걸친 대대적인 최적화가 이루어졌습니다. 주요 변경 사항으로는 `load_hparams` 및 `load_tensors` 함수의 위치 조정, git 친화적인 마이그레이션 추가, 그리고 CMake를 통한 구형 코드 제거 등이 포함됩니다. 이 버전은 macOS(Apple Silicon/Intel), Linux(CPU, Vulkan, ROCm, OpenVINO 등 다양한 백엔드 지원), Android, Windows(CUDA 12/13, Vulkan, SYCL, HIP), openEuler 등 광범위한 플랫폼과 아키텍처를 지원합니다.
5월 4일9
llama.cppAI 번역헤드라인
b9016
llama.cpp v0.0.2570 릴리스는 추측 해독(speculative decoding) 관련 파라미터 명명 규칙을 대폭 개선하고 문서를 업데이트했습니다. 주요 변경 사항으로는 `--draft-max/--draft-min`이 `--spec-draft-n-max/--spec-draft-n-min`으로 변경되었으며, 다양한 새로운 `--spec-ngram-*` 파라미터에 대한 문서가 추가되었습니다. 이 버전은 CPU, GPU(CUDA, Vulkan, ROCm 등), 그리고 여러 운영체제 및 아키텍처를 포괄하는 광범위한 빌드 지원을 제공합니다.
5월 4일9
llama.cppAI 번역헤드라인
b9014
ggml-webgpu 프로젝트에 레이어 노멀레이션(Layer Normalization) 연산자가 추가되어 모델의 기능을 확장했습니다. 이 업데이트는 Kahan 합법을 사용한 부동소수점 계산 안정화 및 비연속 간격 처리를 개선하는 등 여러 기술적 최적화를 포함합니다. 다양한 아키텍처와 플랫폼(macOS, Linux, Windows, Android 등)에 대한 광범위한 지원이 제공되어 호환성과 성능이 향상되었습니다.
5월 4일9
llama.cppAI 번역헤드라인
b9012
llama.cpp의 v0.0.252 버전이 릴리스되었습니다. 이번 업데이트는 Mistral 포맷에 apply_scale 지원을 추가하는 등 다양한 기능 개선과 버그 수정을 포함합니다. 특히, macOS, Linux, Android, Windows, openEuler 등 광범위한 플랫폼에서 CPU, GPU(CUDA, Vulkan, ROCm, OpenVINO 등), 그리고 아키텍처별 최적화된 빌드를 제공하여 사용자 접근성과 성능을 크게 향상시켰습니다.
5월 4일10