Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
b11761: ggml-cpu: NEON fp32->fp16 변환 선택 (#30505)
이 기술 기사는 GGML-CPU의 ARM NEON 관련 컴파일러 및 아키텍처 변환 과정의 버그를 다루고 있습니다. 특히 FP32에서 FP16으로의 변환 처리와 관련된 선택적 정의(selection) 문제를 지적하며, 특정 COMPUTE 매크로가 아무것도 참조하지 않는 경우에 대한 오류 검출 메커니즘 추가 필요성을 제안합니다.
1일 전0
llama.cppAI 번역헤드라인
b11735: metal 백엔드에서 moe_reduce 융합 경합 조건 수정 (#30795)
Metal 백엔드에서 moe_reduce 융합 커널의 경합 조건 문제를 수정하는 내용입니다. 이 융합은 입력 메모리를 dst로 재활용하려 할 때 스레드그룹 간 경합 조건을 발생시켜 비결정적인 오류를 초래할 수 있습니다. 따라서 특정 조건에서는 융합을 거부하도록 보호 장치를 추가했습니다.
2일 전0
llama.cppAI 번역헤드라인
b11713: CUDA: 저비트 타입용 MMVQ 가속화 (#30517)
본문은 CUDA 관련 기술 이슈 트래커의 내용으로 보이며, 'b11713: CUDA: 저비트 타입용 MMVQ 가속화'라는 제목이 핵심입니다. 이는 특정 GPU 컴퓨팅 환경에서 저비트 데이터 타입을 위한 MMVQ(Multi-Mode Quantization) 가속화 기능을 다루는 기술 개발 이슈임을 알 수 있습니다.
4일 전1
llama.cppAI 번역헤드라인
b11623: cuda : WMMA 없이 AMD에서 SIMT 암시적 GEMM conv2d 사용
CUDA 관련 업데이트 내용을 다루며, AMD 환경에서 WMMA 없이도 SIMT 암시적 GEMM conv2d 사용에 대한 개선 사항을 안내합니다. 이는 GPU 아키텍처 레벨의 최적화 및 호환성 향상과 관련된 기술적인 내용입니다.
10월 14일1
llama.cppAI 번역헤드라인
b11618: HIP: RDNA3.5에서 일부 양자화 타입에 대해 64행 MMQ 타일 사용 (#28195)
RDNA3.5 아키텍처의 설정 테이블에 대한 업데이트 내용을 다루고 있습니다. 특히 gfx115x GPU에서 특정 양자화 타입에 대해 64행 MMQ 타일을 사용하는 것이 성능 개선을 가져왔습니다. 이 변경은 LDS 여유 공간 확보와 관련이 있으며, 테스트 결과 중앙값 대비 최대 +26.0%의 성능 향상을 보였습니다.
10월 14일1
llama.cppAI 번역헤드라인
b11533: OpenCL: A6X GPU의 커널 컴파일 수정 (#30176)
OpenCL 관련 기술 업데이트 내용을 다루고 있습니다. 특히 A6X GPU의 커널 컴파일 과정에서 발생할 수 있는 충돌 문제를 해결하기 위해 특정 커널(kernel_cpy_f32_f32_pack)을 건너뛰는 수정이 이루어졌습니다. 또한, GEMV 커널과 Adreno 623 지원 추가 등 전반적인 GPU 호환성 및 컴파일러 안정성이 개선되었습니다.
10월 9일1
llama.cppAI 번역헤드라인
b11517: CUDA: src1 정밀도를 호스트 MMQ 설정 도우미에 전달
본 기사는 CUDA 관련 기술 업데이트를 다루며, src1 정밀도를 호스트 MMQ 설정 도우미에 전달하는 내용을 포함합니다. 이는 NVIDIA의 개발 환경 및 GPU 컴퓨팅 성능 최적화와 관련된 하드웨어 레벨의 개선 사항입니다.
10월 9일1
llama.cppAI 번역헤드라인
b11516: hexagon: IM2COL 패치 임베드 DMA 링 오버플로우 수정 (#30189)
IM2COL 패치 임베드 DMA 커널에서 링 버퍼 오버플로우로 인해 데이터 누출 문제가 발생했습니다. 이 문제는 IC*KH가 256을 초과할 때, 가득 찬 DMA 링에 데이터를 푸시하는 과정에서 일부 행이 기록되지 않아 오래된/잘못된 데이터가 출력되는 현상을 야기했습니다. 해결책은 블로킹 커널처럼 가장 오래된 디스크립터를 폐기하고 플러싱을 기다리는 방식으로 수정되었습니다.
10월 9일1
llama.cppAI 번역헤드라인
b11476: metal: 나머지 src0 유형을 위한 적은 행 MMA mat-mul (#30065)
이 기술 기사는 다양한 데이터 유형을 지원하는 범용적인 적은 행 MMA(Matrix Multiplication) 커널의 개선 사항에 대해 설명합니다. 이 업데이트를 통해 BF16, Q1_0 등 여러 새로운 양자화 및 부동소수점 형식이 추가되었으며, M3 Ultra 환경에서 성능 향상을 입증했습니다.
10월 7일1
llama.cppAI 번역헤드라인
b11434: hexagon: ssm-conv 업데이트 (#29971)
이 업데이트는 Qualcomm의 Hexagon DSP 아키텍처에 대한 여러 최적화 내용을 담고 있습니다. ssm-conv에 double-buffered DMA를 적용하고, hex-ssm-conv에서 루프 내 div 제거 및 이벤트 트레이스를 수정했습니다. 또한, hex-dma 파이프라인 개선과 dma_queue 간소화를 통해 전반적인 성능을 향상시켰습니다.
10월 6일2
llama.cppAI 번역헤드라인
opencl: Adreno 850 GPU의 컴파일러 문제를 해결하기 위해 FA 및 MoE 가중치 리팩(repack) 비활성화 ([#25745](
Adreno 850 GPU의 컴파일러 호환성 문제를 해결하기 위해 FA 및 MoE 가중치 리팩(repack) 기능을 비활성화하는 워크아라운드가 적용되었습니다. 또한 DX 컴파일러 버전 파싱 로직을 수정하여 안정성을 높였습니다.
7월 20일1
llama.cppAI 번역헤드라인
vulkan: 행렬-행렬 곱셈 및 Flash Attention에 `v_dot2_f32_f16` 지원 추가 ([#24123](https://git
llama.cpp 프로젝트가 Vulkan API를 활용하여 행렬-행렬 곱셈 및 Flash Attention 기능에 `v_dot2_f32_f16` 지원을 추가했습니다. 이는 다양한 플랫폼(macOS, Linux, Android 등)에서 최적화된 성능을 제공하며, 여러 아키텍처와 백엔드(CPU, GPU, NPU)를 포괄합니다.
6월 9일0
llama.cppAI 번역헤드라인
hexagon: 기본적인/일반적인 연산 융합 (op fusion) 지원 및 RMS_NORM+MUL 융합 ([#23835](https://gith
본 기사는 llama.cpp 프로젝트의 업데이트 내용을 다루며, 기본적인 연산 융합(op fusion) 지원을 추가하고 RMS_NORM+MUL 융합 기능을 구현했습니다. 이를 통해 다양한 플랫폼(macOS, Linux, Android 등)에서 최적화된 성능으로 AI 모델을 구동할 수 있도록 여러 바이너리 버전을 제공합니다.
5월 29일0
llama.cppAI 번역헤드라인
hexagon: MUL_MAT 및 MUL_MAT_ID에서 Q4_1 지원 추가 ([#23647](https://github.com/ggml-org
llama.cpp의 Hexagon DSP 지원 업데이트를 통해 MUL_MAT 및 MUL_MAT_ID 연산에서 Q4_1 양자화 지원이 추가되었습니다. 이를 통해 ggml-hexagon이 전체 그래프를 점유하여 CPU 부하를 줄이고 효율적인 연산이 가능해졌습니다.
5월 27일0
llama.cppAI 번역헤드라인
최신 NVIDIA GPU (Hopper+)에서 더 높은 성능을 위한 Programmatic Dependent Launch (PDL) ( #225
NVIDIA Hopper+ 아키텍처 GPU의 성능 최적화를 위해 Programmatic Dependent Launch(PDL) 기능을 도입하고 다양한 커널을 등록했습니다. PDL을 통해 커널 간 실행 중첩과 효율적인 동기화를 구현하며, Hopper+ 외의 아키텍처(Ada 등)에서의 성능 저하 및 컴파일 문제를 방지하기 위한 보호 로직을 포함합니다.
5월 20일0
llama.cppAI 번역헤드라인
hexagon: TRI 연산 (op) 지원 추가 ( #22822 ) Hexagon: ggml hexagon HTP 연산 (ops) 및 컨텍스트에
Hexagon HTP 연산 지원을 위해 ggml에 TRI HVX 커널이 추가되었습니다. 이번 업데이트에는 TRI 연산에 대한 PR 리뷰 반영과 함께 코드 포맷팅 및 중복 연산 제거 등 다양한 최적화 작업이 포함되었습니다.
5월 19일1
llama.cppAI 번역헤드라인
ggml-vulkan/CMakeLists: SPIRV-Headers 확인 로직 추가 ( #22009 ) ci/run: macOS Vulkan C
본 변경 사항은 ggml-vulkan 프로젝트의 CMakeLists에 SPIRV-Headers를 검색하는 로직을 추가하여 빌드 및 구성 안정성을 높이는 것을 목표로 합니다. 특히 CI 환경에서 파일들이 예상치 못한 경로(vulkan/)에 위치할 수 있는 문제를 해결하고, 이를 통해 필요한 SPIRV-Headers를 성공적으로 찾을 수 있도록 수정되었습니다. 이 변경은 macOS, Linux, Android, Windows 등 광범위한 플랫폼과 다양한 하드웨어/API 조합(CUDA, Vulkan, SYCL, ROCm 등)에서 프로젝트의 빌드 및 구성 오류를 방지하는 데 기여합니다.
5월 17일2
llama.cppAI 번역헤드라인
server : honor --embd-normalize CLI arg ( #23125 ) --embd-normalize 플래그(flag)가 임
llama-server의 CLI 인자 `--embd-normalize` 플래그가 임베딩 및 디버그 예제에만 등록되어 있어, 서버가 이를 거부하고 기본값(L2)을 사용하던 문제를 해결했습니다. 이 변경 사항은 `LLAMA_EXAMPLE_SERVER`를 업데이트하여 해당 플래그의 예제 세트에 추가하고, 핸들러가 파라미터에서 `embd_normalize` 값을 읽도록 수정함으로써 이루어졌습니다. 요청 본문에 포함된
5월 17일1
llama.cppAI 번역헤드라인
llama + spec: MTP 지원 ( #22673 ) spec: MTP 지원 fix batch size rename files cont :
본 기술 기사는 llama와 spec 관련 기능에 대한 대규모 업데이트 내용을 다루고 있습니다. 주요 내용은 MTP(Multi-Turn Prompting) 지원 강화, speculative decoding의 개선을 위한 GDN 중간 상태 저장 및 부분 롤백 기능을 추가한 것입니다. 또한, 다양한 플랫폼과 아키텍처(macOS, Linux, Windows, Android 등)에 대한 광범위한 호환성 및 최적화 작업이 진행되었으며, 여러 백엔드와 프레임워크 전반에 걸쳐 코드 수정 및 기능 개선이 이루어졌습니다.
5월 16일1
llama.cppAI 번역헤드라인
ggml-webgpu: NVIDIA 자체 호스팅 CI 활성화 ( #22976 ) webgpu를 위한 nvidia ci 활성화 주소 정밀도 문제
이 기술 기사는 ggml-webgpu 프로젝트의 NVIDIA 자체 호스팅 CI 활성화에 대한 내용을 다루고 있습니다. 주요 작업으로는 주소 정밀도 문제 해결, 배치(placement) 수정, f16 포맷팅 및 명명 규칙 완화 시도 등이 포함됩니다. 또한 macOS, Linux, Android, Windows, openEuler 등 다양한 플랫폼과 아키텍처를 지원하기 위한 광범위한 CI 환경 구성을 보여줍니다.
5월 15일2