Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
sycl: USM 시스템 할당을 위한 최소 버퍼 크기 증가 ([#25525](https://github.com/ggml-org/llama.cpp
llama.cpp의 SYCL 구현에서 USM 시스템 할당을 위한 최소 버퍼 크기 임계값을 1 GiB에서 4 GiB로 상향 조정했습니다. 이는 가용 VRAM보다 큰 모델을 실행할 때 발생하는 디바이스 메모리 오버커밋 문제를 개선하기 위함입니다.
7월 20일0
llama.cppAI 번역헤드라인
cuda : 양자화된 연결 (quantized concat)을 위한 텐서 연속성 (tensor contiguity) 요구 사항 완화 ([#256
llama.cpp 프로젝트에서 CUDA를 사용한 양자화된 연결(quantized concat) 시 텐서 연속성 요구 사항을 완화하는 업데이트가 진행되었습니다. 이를 통해 비연속적 텐서에 대한 지원이 강화되었으며 관련 테스트 케이스가 추가되었습니다.
7월 20일1
llama.cppAI 번역헤드라인
cuda : CUDA GGML_OP_LIGHTNING_INDEXER 구현 (generic vector kernel + wmma kernel) (
llama.cpp 프로젝트에서 CUDA 기반의 GGML_OP_LIGHTNING_INDEXER 구현을 포함한 업데이트가 진행되었습니다. generic vector kernel과 wmma kernel을 활용하여 성능을 최적화하고, 아키텍처 요구 사항을 Turing으로 완화하는 등의 개선이 포함되었습니다.
7월 20일0
llama.cppAI 번역헤드라인
opencl: Adreno a7x에서 일부 moe 커널 제외 ([#25698](https://github.com/ggml-org/llama.cp
llama.cpp 프로젝트에서 Adreno A7x GPU의 컴파일러 오류로 인한 MoE 커널 문제를 해결하기 위해 일부 커널 사용을 제외했습니다. 특정 장치에서 가중치가 손상되어 잘못된 출력이 발생하는 현상을 방지하기 위한 업데이트입니다.
7월 20일0
llama.cppAI 번역헤드라인
ggml-cuda : HIP 빌드에서 prop.integrated 복구 ([#24233](https://github.com/ggml-org/ll
llama.cpp의 ggml-cuda 라이브러리에서 HIP 빌드 시 통합 GPU(integrated GPU) 속성이 잘못 설정되던 문제를 해결했습니다. 기존의 임시 방편이 CUDA 빌드에만 적용되도록 수정하여 AMD ROCm 환경에서의 호스트 버퍼 사용 문제를 복구했습니다.
7월 20일0
llama.cppAI 번역헤드라인
server: 비어 있거나 존재하지 않는 `Origin` 헤더 무시 ([#25756](https://github.com/ggml-org/llam
llama.cpp 서버에서 비어 있거나 존재하지 않는 Origin 헤더를 무시하도록 업데이트되었습니다. 이를 통해 불필요한 CORS 관련 경고 메시지가 발생하는 문제를 해결했습니다.
7월 20일0
llama.cppAI 번역헤드라인
CUDA: CUDA 가상 장치 (Virtual Devices) 지원 ([#25228](https://github.com/ggml-org/llam
llama.cpp 프로젝트에서 CUDA 가상 장치(Virtual Devices) 지원 기능이 추가되었습니다. 가상 장치 사용 시 NCCL 경로를 비활성화하고 관련 레이블 및 CI 작업을 포함한 코드 리팩터링이 진행되었습니다.
7월 20일1
llama.cppAI 번역헤드라인
kleidiai: 커널 디스패치(kernel dispatch)에서 SME와 SME2의 구분 추가 ([#25478](https://github.c
KleidiAI가 커널 디스패치 과정에서 SME와 SME2를 구분하도록 업데이트되었습니다. 이를 통해 하드웨어 지원 여부에 따라 적절한 커널을 연결하여 SME(v1) 환경에서의 오작동을 방지합니다.
7월 20일1
llama.cppAI 번역헤드라인
hexagon: L2 캐시 처리 재작업 (지연 플러싱을 이용한 dirty bit 추적) 및 추가적인 MUL_MAT 업데이트 ([#25762](h
llama.cpp의 Hexagon 가속기 지원을 위한 L2 캐시 처리 로직 재설계 및 성능 최적화 업데이트입니다. 지연 플러싱과 dirty bit 추적을 통해 캐시 효율을 높이고, MUL_MAT 커널 및 워크 큐 API를 개선했습니다.
7월 20일0
llama.cppAI 번역헤드라인
sycl: K_QUANTS_PER_ITERATION이 1일 때 행 계산 오류 수정 ([#25690](https://github.com/ggml-
llama.cpp의 SYCL 백엔드에서 K_QUANTS_PER_ITERATION 설정값이 1일 때 발생하는 행 계산 오류를 수정했습니다. Q5_K 커널의 처리 로직을 개선하고 잠재적인 off-by-one 오류 및 행 범위 체크 누락 문제를 해결했습니다.
7월 20일0
llama.cppAI 번역헤드라인
vulkan: Q2_0 지원 ([#25430](https://github.com/ggml-org/llama.cpp/pull/25430)) -
llama.cpp 프로젝트에서 Vulkan 백엔드를 통한 Q2_0 양자화 지원이 추가되었습니다. 행렬-벡터 곱셈 성능 최적화를 위해 워크그룹당 행 수를 조정하였으며, 다양한 OS 및 하드웨어 환경을 위한 바이너리 릴리즈가 포함되었습니다.
7월 20일0
llama.cppAI 번역헤드라인
llama-quant : 양자화 (quantization) 대상에서 i32 ffn_gate_tid2eid 라우팅 테이블 제외 ([#25787](
llama.cpp의 양자화 과정에서 DeepSeek-V4의 i32 타입 라우팅 테이블이 포함되어 발생하던 오류를 수정했습니다. 해당 텐서는 가중치가 아닌 인덱스 테이블이므로 양자화 대상에서 제외되도록 조치했습니다.
7월 20일0
llama.cppAI 번역헤드라인
모델: DFlash를 위해 K/V 캐시 주입 회전 기능 추가 ([#25823](https://github.com/ggml-org/llama.cp
llama.cpp 프로젝트에서 DFlash 모델을 위한 K/V 캐시 주입 회전(injection rotation) 기능이 추가되었습니다. 이는 K/V 양자화 사용 시 효율적인 캐시 관리를 지원합니다.
7월 20일0
llama.cppAI 번역헤드라인
b9967: 서버가 null 샘플링 파라미터 수락 기능 추가
서버가 이제 클라이언트로부터 nullable 파라미터(temperature, top_p 등)에 null 값을 받아들이고 기본값을 요청할 수 있도록 기능을 확장했습니다. 이는 OpenAI 사양 및 json_value 규칙과 일치하며, 필드 평가 가드에서 null을 건너뛰기 위해 has_field()가 has_value()로 변경되었습니다.
7월 11일0
llama.cppAI 번역헤드라인
b9917: 수정 사항: UGM 토크나이저의 OOB 읽기 문제 해결 (precompiled_charsmap 처리)
UGM 토크나이저의 OOB 읽기 문제를 해결하는 업데이트가 이루어졌습니다. 이 수정은 악성 T5/UGM GGUF 파일로 인한 힙 버퍼 오버플로우 취약점을 방지합니다. 주요 변경 사항으로는 최소 크기 유효성 검사 추가와 안전한 문자열 길이 함수 사용이 포함됩니다.
7월 8일0
llama.cppAI 번역헤드라인
sycl : DMMV 경로에서 K_QUANTS_PER_ITERATION을 1로 설정 ([#25063](https://github.com/ggml
llama.cpp의 SYCL 백엔드에서 DMMV 경로의 K_QUANTS_PER_ITERATION을 1로 설정하여 GPU 활용도를 개선했습니다. 이를 통해 재정렬(reorder) 기능의 제한을 해제하고 B70 환경에서 추론 성능(t/s)을 크게 향상시켰습니다.
7월 7일0
llama.cppAI 번역헤드라인
opencl: 일반적인 Flash Attention 디코딩 성능 최적화 ([#25366](https://github.com/ggml-org/ll
llama.cpp 프로젝트에서 OpenCL을 활용한 Flash Attention 디코딩 성능 최적화 작업이 진행되었습니다. 다양한 양자화 형식(f16, q8_0, q4_0)에 대한 커널 개선과 Gemma-4 모델을 위한 DK=512 환경 최적화가 포함되었습니다.
7월 7일0
llama.cppAI 번역헤드라인
metal: col2im_1d 연산 (f32/f16/bf16) 추가 ([#25176](https://github.com/ggml-org/llam
llama.cpp의 Metal 백엔드에 col2im_1d 연산(f32/f16/bf16)을 추가했습니다. CPU 및 CUDA 경로와 동일한 동작을 보장하며, Apple Silicon 환경에서의 연산 효율성을 높였습니다.
7월 6일0
llama.cppAI 번역헤드라인
CUDA: -sm 행 제거, cuBLAS 리팩토링 ([#24216](https://github.com/ggml-org/llama.cpp/pull
llama.cpp 프로젝트의 CUDA 관련 업데이트 사항을 담고 있습니다. cuBLAS 리팩토링, CDNA 및 BF16 로직 수정, 그리고 다양한 플랫폼용 바이너리 릴리즈를 포함합니다.
7월 6일1
llama.cppAI 번역헤드라인
ggml-cpu: AIX에서 타일형 행렬 곱셈 (tiled matmul) 활성화 ([#25199](https://github.com/ggml-o
llama.cpp의 ggml-cpu에서 AIX 환경의 세그멘테이션 결함을 방지하기 위해 타일형 행렬 곱셈(tiled matmul)의 버퍼 점유율을 최적화했습니다. 이를 통해 AIX 환경에서도 타일형 경로를 안정적으로 사용할 수 있게 되었습니다.
7월 6일0