Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
b11404: metal - 몇 줄 MMA mat-mul 및 추측 디코딩을 위한 배치 복사 기능 추가 (#29869)
본 기사는 Metal 백엔드에서 few-row MMA mat-mul 및 speculative decoding을 위한 배치 복사 기능을 추가한 내용을 다룹니다. 이를 통해 기존의 mat-vec 커널보다 성능이 우수한 행 수부터 최적화가 가능해졌습니다. 또한, 여러 텐서 연산에 대한 융합(fusion)과 그래프 최적화 로직도 개선되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11408: ggml-cpu에 SpacemiT X60용 Q8_0 IME1 매트릭스 커널 추가 (#28479)
본 기술 기사는 SpacemiT X60 환경에서 ggml-cpu 라이브러리를 업데이트하여 Qwen2.5-0.5B-Instruct 모델의 Q8_0 양자화 정확도를 향상시킨 내용을 다룹니다. 기존에는 Q8_0이 가속 경로가 없어 성능 저하가 심했지만, 새로운 IME1 매트릭스 커널과 4행 활성화 양자화를 추가하여 전반적인 추론 속도가 크게 개선되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11412: llama : k-pool 모델에서 예상치 못한 그래프 재할당 문제 수정 (#29958)
본 기사는 llama.cpp의 k-pool 모델에서 발생하던 예상치 못한 그래프 재할당 문제를 수정하는 내용을 다룹니다. 기존에는 컨텍스트 예약 방식과 실제 디코딩 과정 간에 불일치가 생겨 메모리 할당 오류가 발생했습니다. 이를 해결하기 위해 특정 API를 제거하고, 모든 ubatch의 경계를 정의하며 하나의 공유된 그래프 모양을 사용하도록 개선되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11417: CUDA: NVFP4 타입의 mmq 누적 최적화 (#29857)
제공된 본문은 기술 기사 내용이 아닌, 웹 애플리케이션의 일반적인 로그인/세션 관리 관련 안내 메시지입니다. 따라서 해당 내용을 기반으로 한 기술 분석이나 요약은 불가능합니다.
10월 7일0
llama.cppAI 번역헤드라인
b11418: 서버: Clef용 비전 입력 지원 (#29969)
본 기술 기사는 Clef 관련 서버 기능 업데이트에 대한 내용을 담고 있습니다. 주요 변경 사항으로는 비전 입력 지원 추가, `input_attn_causal`의 private 이동, 그리고 여러 데이터 구조 및 함수(예: `server_batch::embd`, `server_batch::token::pos`)의 확장 및 수정이 포함되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11429: llama.cpp 버전 0.6.0 업데이트 (#29997)
llama.cpp가 버전 0.6.0으로 업데이트되었으며, 다양한 플랫폼과 아키텍처를 지원하는 빌드 목록이 제공됩니다. macOS, Linux(Ubuntu), Windows 등 주요 OS별로 CPU, GPU(CUDA, Vulkan, OpenCL 등), NPU를 활용한 최신 라이브러리 버전의 빌드가 광범위하게 포함되어 개발자들에게 폭넓은 선택지를 제공합니다.
10월 7일0
llama.cppAI 번역헤드라인
llama.cpp v0.6.0 업데이트: 새로운 배치 API, GLM-5.3-Flash 지원 및 Metal 최적화
llama.cpp v0.6.0 업데이트는 새로운 `llama_batch_ext` 확장 배치 API를 도입하여 혼합 토큰/임베딩 처리를 지원합니다. GLM-5.3-Flash, Clef 등 다양한 하이브리드 모델을 지원하며, Metal 및 Vulkan 최적화 플래시 어텐션 커널과 새로운 서버 엔드포인트도 추가되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11464: [SYCL] FA에서 혼합된 다양한 모델 GPU 문제 수정 (#29071)
본 기술 기사는 다양한 모델과 GPU 환경에서 발생하는 문제를 수정하는 내용을 다루고 있습니다. 특히 SYCL 관련 업데이트를 통해 macOS, Linux, Windows 등 여러 운영체제와 아키텍처(x64, arm64) 및 프레임워크(CUDA, ROCm, OpenVINO, Vulkan, SYCL) 전반의 호환성을 개선했습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11463: sycl을 사용하여 GLM MLA의 prefill을 MKL flash attention으로 가속화 (#29171)
본 기사는 SYCL을 활용하여 GLM MLA의 prefill 과정을 MKL flash attention으로 가속화하는 기술적 개선 사항을 다룹니다. 특히, K/V 캐시 처리 방식과 QK GEMM 출력을 F16으로 저장함으로써 메모리 사용량 및 데이터 트래픽을 절반으로 줄여 성능 향상을 이끌었습니다. 실제 테스트 결과, Intel Arc Pro B70 환경에서 pp8192의 토큰 생성 속도가 432.80 tok/s에서 1292.29 tok/s로 크게 개선되는 등 상당한 가속 효과를 확인했습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11436: ggml-openvino: CI 테스트 수정 및 GPU 회귀 문제 해결 (#30037)
본 기사는 ggml-openvino 프로젝트의 CI 테스트 수정 및 여러 GPU 회귀 문제를 해결한 내용을 다룹니다. 특히, 혼합 토큰/임베드 브랜치 처리, 동적 임베딩 스케일링, 양자화 가중치 연산 오류 등 복잡한 모델 구조와 관련된 다양한 기술적 개선 사항을 포함합니다.
10월 6일0
llama.cppAI 번역헤드라인
b11445: vulkan : vkEnumerateInstanceVersion이 null인지 확인하는 문제 해결 (#29872)
vulkan API 사용 시, 구형 로더(예: Android 8.1)는 vkEnumerateInstanceVersion 함수를 지원하지 않아 백엔드 초기화 과정에서 null 포인터 호출 문제가 발생했습니다. 이 이슈는 1.2 미만 버전의 모든 로더와 동일하게 취급되며, 해당 문제를 해결하는 패치가 적용되었습니다.
10월 6일1
llama.cppAI 번역헤드라인
opencl: cl_khr_integer_dot_product를 사용할 수 없는 장치에 대한 dp4a 버그 수정 ([#25639](https:/
llama.cpp의 OpenCL 백엔드에서 cl_khr_integer_dot_product를 지원하지 않는 장치에 대한 버그를 수정했습니다. 이를 통해 특정 기능이 없는 환경에서도 백엔드 초기화 실패를 방지하고 안정성을 높였습니다.
7월 20일0
llama.cppAI 번역헤드라인
sycl: Battlemage를 위해 fattn_vec_nthreads를 256으로 설정 ([#25205](https://github.com/g
llama.cpp 프로젝트에서 Intel Battlemage 및 Xe2 아키텍처를 감지하여 fattn_vec_nthreads 값을 256으로 최적화하는 업데이트가 진행되었습니다. 기존 Alchemist 권장값인 128은 유지하며 하드웨어별 맞춤 설정을 지원합니다.
7월 20일0
llama.cppAI 번역헤드라인
arg: usage() 호출 후 종료 전 로그 플러시 (Flush) ([#25504](https://github.com/ggml-org/llam
llama.cpp 프로젝트에서 특정 조건 시 로그 메시지가 유실되는 문제를 해결하기 위해 종료 전 로그 플러시(Flush) 기능을 추가했습니다. 이 패치는 macOS, Linux, Android 등 다양한 플랫폼의 최신 바이너리에 반영되었습니다.
7월 20일0
llama.cppAI 번역헤드라인
ggml: 모든 conv ops에 대해 im2col dst_type 통일 ([#23660](https://github.com/ggml-org/l
ggml 라이브러리의 모든 컨볼루션 연산(conv ops)에 대해 im2col dst_type을 통일하는 업데이트가 진행되었습니다. im2col_f16 로직을 수정하여 모든 커널 타입을 허용하도록 개선되었습니다.
7월 20일0
llama.cppAI 번역헤드라인
tests: export-graph-ops: 인자 없이 호출될 때 우아하게 종료 ([#25619](https://github.com/ggml-o
llama.cpp 프로젝트의 export-graph-ops 테스트 과정에서 인자 없이 호출될 때 발생하던 세그멘테이션 결함(segfault)을 수정했습니다. 이번 업데이트를 통해 다양한 OS 환경에서 보다 안정적인 테스트 실행이 가능해졌습니다.
7월 20일0
llama.cppAI 번역헤드라인
tokenize : 공통 인자 (common args) 사용을 통한 사용 방식 일치 ([#25516](https://github.com/ggml
llama.cpp의 tokenize 도구가 공통 인자(common args)를 사용하도록 마이그레이션되었습니다. 이를 통해 argv 파싱, Windows UTF-8 처리 및 파일 읽기 기능이 공통 헬퍼로 통합되어 사용 방식의 일관성을 확보했습니다.
7월 20일0
llama.cppAI 번역헤드라인
vulkan/cpu: SET_ROWS 소스로 f16 지원
llama.cpp의 Vulkan 및 CPU 백엔드에서 f16 SET_ROWS 소스에 대한 완전한 지원을 추가했습니다. Intel 환경의 오류 수정과 오차 임계값 조정, Metal 지원 업데이트를 포함합니다.
7월 20일0
llama.cppAI 번역헤드라인
server : 프롬프트 캐시 상태 소유권 리팩토링 (refactor prompt cache state ownership) ([#25649](h
llama.cpp의 서버 모드에서 프롬프트 캐시 상태 소유권을 리팩토링하는 업데이트가 진행되었습니다. 프롬프트 삭제 시 체크포인트를 함께 정리하고 관련 데이터를 server_prompt_cache로 이동하여 효율성을 높였습니다.
7월 20일2
llama.cppAI 번역헤드라인
[SYCL] oneDNN을 통한 XMX 엔진 기반 Flash Attention ([#25222](https://github.com/ggml-or
llama.cpp 프로젝트에서 oneDNN graph API와 XMX 엔진을 활용한 Flash Attention 구현 PR이 공개되었습니다. 이를 통해 Battlemage(Xe2) 아키텍처 기반의 prefill 속도가 대폭 향상되었으며, 멀티 디바이스 동기화 기능이 추가되었습니다.
7월 20일0