Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
b11400: llama에서 임베딩(embd)과 원시 토큰을 배치로 모두 지원 (#29622)
llama 아키텍처가 임베딩(embedding)과 원시 토큰을 배치로 함께 지원하도록 업데이트되었습니다. 이는 `test-llama-archs`에 추가되었으며, 혼합 배치를 위한 전용 입력 제공 및 m-rope 위치 처리 통합 등의 개선 사항이 포함되었습니다.
10월 7일2
llama.cppAI 번역헤드라인
b11404: metal - 몇 줄 MMA mat-mul 및 추측 디코딩을 위한 배치 복사 기능 추가 (#29869)
본 기사는 Metal 백엔드에서 few-row MMA mat-mul 및 speculative decoding을 위한 배치 복사 기능을 추가한 내용을 다룹니다. 이를 통해 기존의 mat-vec 커널보다 성능이 우수한 행 수부터 최적화가 가능해졌습니다. 또한, 여러 텐서 연산에 대한 융합(fusion)과 그래프 최적화 로직도 개선되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11477: llama 모델이 다음(nextn) 텐서 플래그를 모델 간에 공유하도록 개선
Llama 모델의 성능 개선을 위해 다음(nextn) 텐서 플래그 공유 기능이 업데이트되었습니다. 이로써 여러 모델에서 트렁크 전용 및 MTP 전용 감지 로직이 통합되었으며, 다양한 모델들이 트렁크 전용 파일을 수락할 수 있게 되었습니다.
10월 7일1
llama.cppAI 번역헤드라인
b11408: ggml-cpu에 SpacemiT X60용 Q8_0 IME1 매트릭스 커널 추가 (#28479)
본 기술 기사는 SpacemiT X60 환경에서 ggml-cpu 라이브러리를 업데이트하여 Qwen2.5-0.5B-Instruct 모델의 Q8_0 양자화 정확도를 향상시킨 내용을 다룹니다. 기존에는 Q8_0이 가속 경로가 없어 성능 저하가 심했지만, 새로운 IME1 매트릭스 커널과 4행 활성화 양자화를 추가하여 전반적인 추론 속도가 크게 개선되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11412: llama : k-pool 모델에서 예상치 못한 그래프 재할당 문제 수정 (#29958)
본 기사는 llama.cpp의 k-pool 모델에서 발생하던 예상치 못한 그래프 재할당 문제를 수정하는 내용을 다룹니다. 기존에는 컨텍스트 예약 방식과 실제 디코딩 과정 간에 불일치가 생겨 메모리 할당 오류가 발생했습니다. 이를 해결하기 위해 특정 API를 제거하고, 모든 ubatch의 경계를 정의하며 하나의 공유된 그래프 모양을 사용하도록 개선되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11476: metal: 나머지 src0 유형을 위한 적은 행 MMA mat-mul (#30065)
이 기술 기사는 다양한 데이터 유형을 지원하는 범용적인 적은 행 MMA(Matrix Multiplication) 커널의 개선 사항에 대해 설명합니다. 이 업데이트를 통해 BF16, Q1_0 등 여러 새로운 양자화 및 부동소수점 형식이 추가되었으며, M3 Ultra 환경에서 성능 향상을 입증했습니다.
10월 7일1
llama.cppAI 번역헤드라인
b11417: CUDA: NVFP4 타입의 mmq 누적 최적화 (#29857)
제공된 본문은 기술 기사 내용이 아닌, 웹 애플리케이션의 일반적인 로그인/세션 관리 관련 안내 메시지입니다. 따라서 해당 내용을 기반으로 한 기술 분석이나 요약은 불가능합니다.
10월 7일0
llama.cppAI 번역헤드라인
b11418: 서버: Clef용 비전 입력 지원 (#29969)
본 기술 기사는 Clef 관련 서버 기능 업데이트에 대한 내용을 담고 있습니다. 주요 변경 사항으로는 비전 입력 지원 추가, `input_attn_causal`의 private 이동, 그리고 여러 데이터 구조 및 함수(예: `server_batch::embd`, `server_batch::token::pos`)의 확장 및 수정이 포함되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11422: cuda: MUSA에서 벡터 라이트닝 인덱서 커널 사용 (#29990)
본 문서는 MUSA 아키텍처의 메모리 제약 사항(28 KB)으로 인해, 타일 커널이 쿼리를 스테이징하는 방식에 변화를 가져왔습니다. 이로써 헤드 패스에서 라이트닝 인덱서가 쿼리를 스테이징하며, 이는 기존 벡터 커널을 유지하고 CUDA 및 ROCm 환경에서도 원활하게 작동하도록 개선되었습니다.
10월 7일1
llama.cppAI 번역헤드라인
b11429: llama.cpp 버전 0.6.0 업데이트 (#29997)
llama.cpp가 버전 0.6.0으로 업데이트되었으며, 다양한 플랫폼과 아키텍처를 지원하는 빌드 목록이 제공됩니다. macOS, Linux(Ubuntu), Windows 등 주요 OS별로 CPU, GPU(CUDA, Vulkan, OpenCL 등), NPU를 활용한 최신 라이브러리 버전의 빌드가 광범위하게 포함되어 개발자들에게 폭넓은 선택지를 제공합니다.
10월 7일0
llama.cppAI 번역헤드라인
llama.cpp v0.6.0 업데이트: 새로운 배치 API, GLM-5.3-Flash 지원 및 Metal 최적화
llama.cpp v0.6.0 업데이트는 새로운 `llama_batch_ext` 확장 배치 API를 도입하여 혼합 토큰/임베딩 처리를 지원합니다. GLM-5.3-Flash, Clef 등 다양한 하이브리드 모델을 지원하며, Metal 및 Vulkan 최적화 플래시 어텐션 커널과 새로운 서버 엔드포인트도 추가되었습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11464: [SYCL] FA에서 혼합된 다양한 모델 GPU 문제 수정 (#29071)
본 기술 기사는 다양한 모델과 GPU 환경에서 발생하는 문제를 수정하는 내용을 다루고 있습니다. 특히 SYCL 관련 업데이트를 통해 macOS, Linux, Windows 등 여러 운영체제와 아키텍처(x64, arm64) 및 프레임워크(CUDA, ROCm, OpenVINO, Vulkan, SYCL) 전반의 호환성을 개선했습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11463: sycl을 사용하여 GLM MLA의 prefill을 MKL flash attention으로 가속화 (#29171)
본 기사는 SYCL을 활용하여 GLM MLA의 prefill 과정을 MKL flash attention으로 가속화하는 기술적 개선 사항을 다룹니다. 특히, K/V 캐시 처리 방식과 QK GEMM 출력을 F16으로 저장함으로써 메모리 사용량 및 데이터 트래픽을 절반으로 줄여 성능 향상을 이끌었습니다. 실제 테스트 결과, Intel Arc Pro B70 환경에서 pp8192의 토큰 생성 속도가 432.80 tok/s에서 1292.29 tok/s로 크게 개선되는 등 상당한 가속 효과를 확인했습니다.
10월 7일0
llama.cppAI 번역헤드라인
b11435: llama에서 공유된 시퀀스에 대한 k-pool의 scatter 데이터 레이스 수정 (#29994)
Llama 모델의 k-pool 관련 데이터 레이스 문제를 수정하고, 공유 시퀀스 처리 방식을 개선했습니다. 특히 여러 시퀀스가 공유하는 풀링된 키가 중복 작성하여 발생하던 CPU 백엔드의 데이터 레이스를 해결했습니다. 또한, 메모리 관리 및 캐시 안전성 모드 제거를 통해 모델의 안정성과 효율성을 높였습니다.
10월 7일1
llama.cppAI 번역헤드라인
b11454: 모델에 K2 Horizon Dense 및 MoVA 지원 추가 (#29535)
본 기사는 K2 Horizon 모델의 GGUF 변환 코드와 관련 개선 사항을 다룹니다. 특히, 유니코드 처리 및 정규식(regex) 오류를 수정하고, Dense 및 MoVA 지원을 추가하여 모델의 안정성과 기능을 향상시킨 내용을 포함합니다. 또한, 추론 과정에서 JSON 스키마 강제 적용 등 다양한 고급 기능이 구현되었습니다.
10월 6일0
llama.cppAI 번역헤드라인
b11453: llama에서 glm5-next 희소 어텐션의 gather 경로 제거 (#30042)
이 커밋은 Llama 모델에서 GLM-5-Next의 희소 어텐션(sparse attention) 구현을 개선하는 내용을 담고 있습니다. 기존에 사용되던 gather 경로는 특정 조건(n_ubatch <= 16)에서만 작동했으나, 이제 scatter 경로가 모든 경우를 처리하도록 수정되었습니다.
10월 6일0
llama.cppAI 번역헤드라인
b11436: ggml-openvino: CI 테스트 수정 및 GPU 회귀 문제 해결 (#30037)
본 기사는 ggml-openvino 프로젝트의 CI 테스트 수정 및 여러 GPU 회귀 문제를 해결한 내용을 다룹니다. 특히, 혼합 토큰/임베드 브랜치 처리, 동적 임베딩 스케일링, 양자화 가중치 연산 오류 등 복잡한 모델 구조와 관련된 다양한 기술적 개선 사항을 포함합니다.
10월 6일0
llama.cppAI 번역헤드라인
b11445: vulkan : vkEnumerateInstanceVersion이 null인지 확인하는 문제 해결 (#29872)
vulkan API 사용 시, 구형 로더(예: Android 8.1)는 vkEnumerateInstanceVersion 함수를 지원하지 않아 백엔드 초기화 과정에서 null 포인터 호출 문제가 발생했습니다. 이 이슈는 1.2 미만 버전의 모든 로더와 동일하게 취급되며, 해당 문제를 해결하는 패치가 적용되었습니다.
10월 6일1
llama.cppAI 번역헤드라인
b11439: ggml: 선택적 전문가 복사(selective expert copying)를 사용자 코드로 리팩토링 (#29943)
ggml 프로젝트에서 선택적 전문가 복사(selective expert copying) 기능을 사용자 코드 레벨로 리팩토링했습니다. 이를 통해 사용자가 직접 코드를 수정하여 해당 기능을 활용할 수 있도록 개선되었습니다. 또한, deepseek2 모델을 테스트 모델로 추가하고 관련 주석도 업데이트하였습니다.
10월 6일2
llama.cppAI 번역헤드라인
b11434: hexagon: ssm-conv 업데이트 (#29971)
이 업데이트는 Qualcomm의 Hexagon DSP 아키텍처에 대한 여러 최적화 내용을 담고 있습니다. ssm-conv에 double-buffered DMA를 적용하고, hex-ssm-conv에서 루프 내 div 제거 및 이벤트 트레이스를 수정했습니다. 또한, hex-dma 파이프라인 개선과 dma_queue 간소화를 통해 전반적인 성능을 향상시켰습니다.
10월 6일2