Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
llama-graph: SWA 전용 모델을 위한 llm_graph_input_attn_kv_iswa에서의 null-buffer 충돌 수정 ( #
llama-graph에서 SWA(Sliding Window Attention) 전용 모델 사용 시 발생하는 null-buffer 충돌 문제를 해결했습니다. 특정 레이어가 존재하지 않을 때 백엔드 스케줄러가 버퍼를 할당하지 않아 발생하는 assertion 오류와 null-dereference 문제를 방지하기 위한 가드를 추가했습니다.
5월 21일0
llama.cppAI 번역헤드라인
app : llama 통합 실행 파일 도입 ( #23296 ) app : llama 통합 실행 파일 도입 Signed-off-by: Adrien
Hugging Face 프로젝트에서 Llama 모델을 실행하기 위한 통합 실행 파일 도입을 위한 변경 사항이 반영되었습니다. 서버용 serve 기능이 추가되었으며, macOS, Linux, Android, Windows, openEuler 등 다양한 운영체제와 하드웨어 가속(CUDA, Vulkan, ROCm, OpenVINO 등)을 지원합니다.
5월 20일0
llama.cppAI 번역헤드라인
llama : MTP 정리 ( #23269 ) lama : 부분 롤백 (partial rollback)이 있는 순환 메모리 (recurrent
llama.cpp 프로젝트의 MTP(Multi-Token Prediction) 및 투기적 디코딩(Speculative Decoding) 관련 기술적 업데이트 사항을 정리한 내용입니다. 순환 메모리(Recurrent Memory)의 부분 롤백 기능 개선, ngram 및 초안(draft) 설정 최적화, 그리고 다양한 운영체제 및 하드웨어 가속을 위한 빌드 지원 범위 확대를 포함합니다.
5월 20일4
llama.cppAI 번역헤드라인
llama.cpp b9221 릴리스: ggml-hexagon PAD 연산 HVX 커널 추가 및 플랫폼 지원 업데이트
llama.cpp b9221 릴리스에서는 Hexagon HTP 백엔드를 위한 HVX 벡터화 커널 기반의 PAD 연산 지원이 추가되었습니다. 이를 통해 제로 패딩 및 순환 패딩을 4개 텐서 차원 전체에서 지원하며, macOS, Linux, Android, Windows, openEuler 등 다양한 플랫폼에 대한 지원 업데이트가 포함되었습니다.
5월 19일1
llama.cppAI 번역헤드라인
unicode,test: Qwen3.5 non-backtracking tokenizer handler 및 회귀 테스트 (regression te
본 커밋은 Qwen3.5 모델의 유니코드 토크나이저 처리를 강화하고 회귀 테스트를 추가하는 내용을 담고 있습니다. 특히 `src/unicode.cpp`에 Qwen3.5의 [l{l}l}]+ 정규식(문자 + 결합 문자)을 위한 non-backtracking handler를 추가하여, 긴 입력값에서 발생할 수 있는 스택 오버플로를 방지합니다. 또한 악센트 기호 포함 및 후행 공백 제거 등 전반적인 토큰화 처리의 견고성을 높였습니다.
5월 14일3
llama.cppAI 번역헤드라인
server, webui: vLLM API 호환성을 위해 continue_final_message 플래그 허용 ( #23012 ) server,
이 업데이트는 vLLM 및 transformers API의 호환성을 높이기 위해 `continue_final_message` 플래그를 추가합니다. 이 플래그는 특히 `add_generation_prompt`가 false로 설정되었을 때 기존의 prefill_assistant 코드 경로를 트리거하도록 설계되었습니다. WebUI는 '계속(Continue)' 버튼 사용 시 이 플래그와 `add_generation_prompt: false` 조합을 전송하며, 이는 향후 채팅 서비스의 템플릿별 prefill 로직 구현에 기반을 마련합니다.
5월 14일4
llama.cppAI 번역헤드라인
server, webui: reasoning models에서의 생성 계속하기(continue generation) 지원 ( #22727 ) se
본 업데이트는 reasoning models에서 생성(generation)을 지속적으로 수행하는 기능을 지원합니다. 구체적으로, assistant prefill로 인해 발생하던 차단 문제를 해결하고, 파서가 다음 스트림 청크를 정확히 라우팅할 수 있도록 thinking tags를 조정했습니다. WebUI에서는 Continue 버튼을 통해 reasoning guard를 해제하고, 부분적인 reasoning 내용을 유지하여 CoT(Chain of Thought)의 연속성을 보장합니다.
5월 13일3
llama.cppAI 번역헤드라인
b9115: convert : LoraTorchTensor에 split() 메서드 추가 및 LoRA 컨버터 개선 (#22832)
이 기술 기사는 LoRA(Low-Rank Adaptation) 관련 라이브러리의 개선 사항을 다루고 있습니다. 주요 업데이트 내용은 `LoraTorchTensor` 클래스에 `split()` 메서드를 추가하여 텐서 분할 기능을 강화한 것입니다. 또한, Python 타입 검사 수정, `torch.split` 디스패치 로직 개선, 그리고 다양한 버그 및 리팩토링 작업이 포함되어 전반적인 코드 안정성과 사용 편의성을 높였습니다.
5월 13일2
llama.cppAI 번역헤드라인
b9010
이 커밋은 멀티 GPU 환경에서 CUDA 장치 PCI 버스 ID 중복 문제를 해결하고 Out-of-Memory(OOM) 오류를 방지하는 수정 사항을 포함합니다. 이 업데이트는 다양한 운영체제 및 아키텍처(macOS, Linux, Android, Windows 등)와 여러 컴퓨팅 백엔드(CUDA, ROCm, Vulkan, SYCL, HIP 등)를 지원하도록 확장되었으며, 특히 복잡한 멀티 GPU 환경에서의 장치 감지 안정성을 크게 향상시켰습니다.
5월 3일9
llama.cppAI 번역헤드라인
b9009
이 기술 기사는 특정 버전의 소프트웨어(llama 관련)에 대한 다양한 플랫폼 및 아키텍처별 빌드 목록을 제공합니다. 주요 내용은 '서버: 호스트 복사 방지'와 관련된 업데이트 사항과 함께, macOS (Apple Silicon/Intel), Linux (다양한 CPU 및 그래픽 API 지원), Android, Windows (CUDA, Vulkan, SYCL 등 다중 백엔드 지원), 그리고 openEuler 환경에 이르기까지 광범위하게 최적화된 빌드를 포함하고 있습니다. 이는 사용자들이 자신의 특정 하드웨어 및 운영체제 환경에 맞는 버전을 선택할 수 있도록 폭넓은 호환성을 확보했음을 의미합니다.
5월 2일8
llama.cppAI 번역헤드라인
b9008
이 기술 기사는 ggml-virtgpu 프로젝트의 버전 업데이트 및 빌드 상태를 안내합니다. 주요 수정 사항은 헤더 파일의 순환 의존성 문제를 해결한 것입니다. 이 업데이트는 macOS(Apple Silicon/Intel), iOS, Linux(다양한 아키텍처 및 백엔드 지원 포함), Android, Windows(CUDA, Vulkan, SYCL 등 다중 GPU API 지원), openEuler 등 광범위한 플랫폼과 환경에 걸쳐 빌드가 제공됨을 보여줍니다.
5월 2일10
llama.cppAI 번역헤드라인
b9000
이 기술 기사는 Hexagon 프로세서 아키텍처에서 대규모 언어 모델(LLM)의 핵심 연산인 플래시 어텐션(Flash Attention) 및 행렬 곱셈(Matmul) 성능을 극대화하기 위한 최적화 작업들을 다룹니다. 주요 개선 사항으로는 Q6_ 인트린식으로의 아셈블리 코드 전환, 여러 HMX 워커에 대한 상류 최적화 적용, 그리고 Q 로드/O 스토어 작업을 멀티 스레딩 및 병렬 처리로 분산하는 것이 포함됩니다. 또한, 다양한 시나리오(예: prefill, GQA)에서 어텐션 계산의 정확도를 높이고 파이프라인 효율성을 개선하기 위한 세부적인 수정들이 이루어졌습니다.
5월 2일10
llama.cppAI 번역헤드라인
b9006
이 기술 기사는 OpenCL 환경에서 Adreno GPU 최적화를 목표로 MoE(Mixture of Experts) 아키텍처와 MxFP4 정밀도를 지원하는 CLC 커널을 추가하고 관련 기능을 개선한 내용을 담고 있습니다. 주요 변경 사항으로는 MoE mxfp4 테스트를 위한 `test-backend-ops` 도입, GPU에서의 라우터 재정렬 기능 구현 등이 포함됩니다. 또한, 다양한 플랫폼(macOS, iOS, Linux, Android, Windows 등) 및 백엔드(CUDA, Vulkan, ROCm, SYCL 등)에 대한 광범위한 호환성 테스트와 최적화 작업이 이루어졌습니다.
5월 2일8
llama.cppAI 번역헤드라인
b9002
이 문서는 'sync'라는 프로젝트 또는 라이브러리가 다양한 운영체제와 아키텍처를 지원하는 빌드 버전을 제공함을 보여줍니다. 특히 macOS(Apple Silicon 및 Intel), iOS, Linux(다양한 CPU/GPU 백엔드 포함), Android, Windows, openEuler 등 광범위한 플랫폼을 커버하며, 각 환경에 최적화된 포팅 옵션을 제공하여 높은 호환성과 접근성을 자랑합니다.
5월 2일11
llama.cppAI 번역헤드라인
b9004
이 문서는 'sync'라는 프로젝트 또는 라이브러리의 다양한 플랫폼 및 아키텍처별 지원 현황을 나열하고 있습니다. macOS(Apple Silicon/Intel), iOS, Linux(Ubuntu 기반의 CPU, Vulkan, ROCm, OpenVINO 등 다양한 백엔드 포함), Android, Windows(CUDA, Vulkan, SYCL, HIP 등 GPU 가속 옵션 제공), 그리고 openEuler까지 광범위하게 지원합니다. 이는 해당 기술이 매우 폭넓은 환경에서 구동될 수 있음을 보여줍니다.
5월 2일10
llama.cppAI 번역헤드라인
b8999
이 기술 기사는 llama-quant 프로젝트의 주요 업데이트 및 수정 사항을 다루고 있습니다. 특히 `--tensor-type` 관련 기능 개선과 기본 양자화 타입(qtype) 오버라이드 처리 로직에 대한 수정을 포함합니다. 또한, macOS, Linux, Android, Windows, openEuler 등 광범위한 다양한 아키텍처와 프레임워크(CUDA, ROCm, Vulkan, OpenVINO, SYCL 등)를 지원하는 빌드 목록을 제공하며 프로젝트의 포괄적인 호환성을 강조하고 있습니다.
5월 1일9
llama.cppAI 번역헤드라인
b8996
본 기술 기사는 ggml-webgpu 라이브러리의 성능 개선을 다루며, 특히 `mul-mat` 및 `mul-mat-id` 함수에서 벡터화 처리 로직을 수정하고 최적화했습니다. 주요 목표는 `mul-mat-fast` 파이프라인의 벡터화 조건을 개선하여 전반적인 연산 속도를 향상시키는 것입니다. 이 업데이트는 macOS, Linux, Android, Windows 등 광범위한 다양한 아키텍처와 백엔드(CPU, Vulkan, CUDA, ROCm, OpenVINO 등)를 지원합니다.
5월 1일9
llama.cppAI 번역헤드라인
b8992
llama-mmap 라이브러리가 대규모 언어 모델(LLM)의 배포 및 호환성을 크게 향상시킨 업데이트를 발표했습니다. 이번 업데이트는 32비트 WASM 지원과 2GB 이상의 대용량 모델을 처리할 수 있는 기능을 추가한 것이 핵심입니다. 또한, macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, ROCm, OpenVINO 등 다양한 백엔드 포함), Android, Windows, openEuler 등 광범위한 운영체제 및 아키텍처를 지원하는 빌드를 제공하여 범용성을 극대화했습니다.
5월 1일13
llama.cppAI 번역헤드라인
b8990
이 기술 기사는 ggml 라이브러리에 2차원 텐서(tensor)를 가져오고 설정하는 함수인 `get_tensor_2d` 및 `set_tensor_2d`가 추가되었음을 알립니다. 이 업데이트는 백엔드 인터페이스 주석을 수정하고, macOS, Linux, Android, Windows 등 광범위한 플랫폼과 다양한 하드웨어 가속기(Vulkan, CUDA, ROCm, OpenVINO, SYCL, HIP)를 지원하도록 라이브러리의 호환성을 크게 확장했습니다.
4월 30일9
llama.cppAI 번역헤드라인
b8973
이 기술 기사는 ggml-cuda 프로젝트의 'fusion' 코드에 대한 대규모 리팩토링 및 포맷팅 작업을 다루고 있습니다. 주요 변경 사항에는 환경 변수 처리 로직을 `truthy` 값으로 수정하는 것이 포함되었습니다. 이 업데이트는 macOS, Linux, Android, Windows, openEuler 등 광범위한 플랫폼과 다양한 하드웨어 가속기(CUDA, Vulkan, ROCm, OpenVINO, SYCL, HIP)를 지원하도록 코드를 개선하고 최적화했음을 보여줍니다.
4월 30일10