Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
b11580: hexagon: 이진 연산에 대한 스칼라 DMA 브로드캐스팅 지원 확장 (#30245)
이 기술 기사는 AI 연산 라이브러리(ggml 등)의 성능 개선 및 기능 확장에 대한 내용을 다룹니다. 스칼라 DMA 브로드캐스팅 지원을 확장하고, 다양한 이진 연산 경로를 최적화하여 메모리 접근 효율성과 계산 정확도를 높이는 데 중점을 두었습니다.
10월 13일1
llama.cppAI 번역헤드라인
b11567: llama 추론 중 compute graph 재할당 보고 기능 추가 (#30329)
llama.cpp에 compute graph 재할당 보고 기능이 추가되었습니다. 사용자가 등록하는 콜백을 통해, 그래프 버퍼가 부족하여 재할당될 때 알림을 받을 수 있습니다. 이 기능을 활용해 백엔드 할당 및 그래프 크기 변화를 추적하고 성능 통계를 얻을 수 있습니다.
10월 12일1
llama.cppAI 번역헤드라인
b11563: ggml: 심볼 기본 가시성 변경 (hidden) (#30014)
제공된 본문은 기술 기사라기보다는 웹 애플리케이션의 일반적인 사용자 인터페이스(UI) 알림 메시지입니다. 따라서 특정 기술적 내용을 분석하기 어렵습니다.
10월 12일1
llama.cppAI 번역헤드라인
b11560: hexagon에 IM2COL_3D 지원 추가
본 기술 기사는 hexagon 프로세서의 이미지 처리(IM2COL) 기능에 대한 여러 최적화 및 개선 사항을 다룹니다. IM2COL_3D 지원 추가, DMA 경로 개선, 그리고 스칼라 변환 방지 등 다양한 하드웨어 레벨의 성능 향상을 목표로 합니다.
10월 12일0
llama.cppAI 번역헤드라인
b11557: rpc의 디버그 로깅을 가시성 수준으로 변경하고 로그 추가 (#29544)
본 업데이트는 RPC 로깅 시스템의 가시성(verbosity) 레벨을 도입하여 디버깅 기능을 대폭 개선했습니다. 이제 0부터 3까지의 숫자로 로그 상세도를 제어할 수 있으며, 클라이언트와 서버 모두에 걸쳐 다양한 생명주기 이벤트 및 전송 세부 정보가 추가되었습니다.
10월 11일1
llama.cppAI 번역헤드라인
다른 탭이나 창에서 로그인했습니다
이 메시지는 사용자가 현재 보고 있는 웹 애플리케이션의 세션 상태가 다른 브라우저 탭이나 창에서 변경되었음을 알려줍니다. 따라서 최신 정보를 반영하기 위해 페이지를 새로고침(reload)해야 함을 안내하는 알림입니다.
10월 11일2
llama.cppAI 번역헤드라인
b11552: 서버가 요청이 바쁜 슬롯을 건드리지 않도록 수정 (#30295)
서버가 처리 중인(바쁜) ID 슬롯을 건드리는 과정에서 프롬프트 캐시 업데이트 지연 및 잘못된 컨텍스트 로딩 문제가 발생했습니다. 수정된 버전에서는 바쁜 슬롯을 그대로 반환하고 요청이 이를 기다리도록 하여, 데이터 일관성과 안정성을 높였습니다.
10월 10일1
llama.cppAI 번역헤드라인
b11537: 그래프 재정렬 및 임베딩을 위한 get_rows 수정 (#30160)
이 커밋은 그래프 데이터의 효율적인 임베딩을 위해 get_rows 함수를 재정렬하고, Gemma4 모델 관련 입력 임베딩 구성 로직을 개선하는 내용을 담고 있습니다. 또한 LORA에 대한 TODO 추가 및 raw 임베딩 경로 수정 등 전반적인 시스템 안정화 작업을 진행했습니다.
10월 9일0
llama.cppAI 번역헤드라인
b11536 업데이트: 모델 관리, 트레인드 컨텍스트 보고 및 UI 개선
b11536 업데이트는 GGUF 메타데이터를 활용하여 모델의 학습된 컨텍스트(context_length) 정보를 읽어오는 기능을 강화했습니다. 이를 통해 서버와 UI에서 모델 목록을 오프라인으로 정렬 및 필터링할 수 있게 되었으며, 사용자 경험 개선을 위한 즐겨찾기 기능과 UI 수정도 이루어졌습니다.
10월 9일1
llama.cppAI 번역헤드라인
b11534: CUDA: SSM_SCAN 후 중복된 CUDA 복사 제거 (#29807)
CUDA 관련 업데이트 내용으로, 상태 스냅샷을 재귀 캐시(recurrent cache)에 ssm_scan을 이용해 융합하는 기능이 추가되었습니다. 이를 통해 K==1 (non spec-dec) 시나리오에서도 중복된 CUDA 복사본 제거가 가능해져 효율성이 향상됩니다.
10월 9일0
llama.cppAI 번역헤드라인
b11529: ggml: 음수 오프셋을 가진 ggml_acc에서 OOB 쓰기 수정 (#30135)
ggml_acc_impl에서 size_t 타입의 오프셋을 int32_t로 변환할 때 발생할 수 있는 잠재적인 오류를 수정하는 내용입니다. 이 과정에서 큰 오프셋이 음수 int32_t로 잘리거나, 포워드 과정 중 경계 검사(bounds assertion)가 랩핑되면서 OOB 쓰기(Out-of-Bounds Write)가 발생할 위험이 있었습니다.
10월 9일0
llama.cppAI 번역헤드라인
b11528: meta: 호스트 뷰 처리 기능 추가 (#30217)
이 업데이트는 meta 백엔드에서 호스트에 할당된 텐서의 뷰(views) 처리를 개선합니다. 특히, ggml-alloc이 뷰가 위치한 split 버퍼 내에서 충돌 없이 메모리를 관리하도록 수정되었습니다. 이는 그래프 재구축 시 발생하는 단언 실패 문제를 해결하며, --split-mode tensor 및 부분 오프로드 사용 시 KV 캐시 뷰 관련 오류를 일반화하여 해결합니다.
10월 9일1
llama.cppAI 번역헤드라인
b11523: ci: Models Backend webgpu에서 GGML_OP_DUP 지원을 통해 수정 (#30216)
이 PR은 Models Backend의 WebGPU 구현에서 GGML_OP_DUP 지원을 추가하여 안정성을 개선했습니다. 기존에는 DUP 연산이 CPU와 WebGPU 간에 분리되어 실행되면서 충돌(crash)이 발생했으나, 이제 DUP가 CPY 및 CONT와 동일한 경로를 거치도록 수정되었습니다.
10월 9일0
llama.cppAI 번역헤드라인
ggml-openvino: 2026.4.1 업데이트, 성능 최적화, 연산 확장 및 장치 목록 개선
ggml-openvino 라이브러리가 2026.4.1 버전으로 업데이트되며, 성능 최적화와 연산 확장 기능이 대폭 개선되었습니다. 특히 Qwen3.5 MoE 지원과 상세 추론 프로파일링 추가가 주요 내용입니다. 또한 OpenVINO 장치 목록 관리 및 메모리 보고 기능이 강화되어 안정성이 높아졌습니다.
10월 9일0
llama.cppAI 번역헤드라인
b11513: CUDA: top-k 알고리즘 선택 개선 (#28713)
본 기사는 CUDA 환경에서 top-k 알고리즘의 선택 및 구현 개선 사항을 다룹니다. 대규모 행 개수에 대한 radix top-k 최적화와 모양에 따른 TOP_K 구현 경로(bitonic, radix select, DeviceTopK 등)를 세분화하여 성능을 향상시켰습니다. 이를 통해 특정 연산에서 처리 시간이 크게 단축되는 등의 결과를 얻었습니다.
10월 8일1
llama.cppAI 번역헤드라인
b11509: CUDA: 주요 버전 전환 시 CCCL 버전 가드 오류 수정 (#29453)
CUDA 라이브러리에서 주요 버전 전환 시 CCCL(CUDA C Communication Library)의 버전 가드 오류를 수정했습니다. 기존 방식은 Major와 Minor 버전을 독립적으로 비교하여, 새로운 Major 시리즈 시작 시 Minor가 0으로 재설정되는 문제로 인해 성능 저하를 유발했습니다. 이를 단일 패킹된 정수 형태로 통합하여 정확성을 높였습니다.
10월 8일1
llama.cppAI 번역헤드라인
b11506: 서버 - 슬롯 저장/복원 전반에 걸쳐 컨텍스트 체크포인트 유지 기능 추가 (#26004)
llama.cpp 서버 측에서 컨텍스트 체크포인트 유지 기능을 대폭 개선했습니다. 이를 통해 슬롯 저장/복원 과정 전반에 걸쳐 상태를 효율적으로 관리하고, 전체 프롬프트 재처리 없이도 롤백이 가능해졌습니다. 또한 드래프트 KV 캐시 타입 불일치 문제 해결 및 파일 I/O 안정성이 강화되었습니다.
10월 8일0
llama.cppAI 번역헤드라인
b11487: hexagon: tiled Q4_K 및 Q6_K GET_ROWS 지원 (#30115)
제공된 본문은 기술 기사라기보다는 웹 애플리케이션의 일반적인 사용자 인터페이스(UI) 메시지 또는 오류 로그를 담고 있습니다. 따라서 특정 기술적 내용을 분석하기 어렵습니다.
10월 8일0
llama.cppAI 번역헤드라인
# b11406 webgpu: Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4에 대한 MMVQ 지원 추가 (#29483) - m
본 기술 기사는 webgpu 환경에서 다양한 양자화(Quantization) 형식에 대한 MMVQ 지원을 추가하는 내용을 다룹니다. Q1_0, Q5_0 등 여러 경로의 지원과 K_QUANTS_HANDLING 매크로 추가를 통해 모델 최적화 및 배포 범위를 확장합니다.
10월 7일0
llama.cppAI 번역헤드라인
b11430: hexagon: matmul 및 flash-atten 확장성 업데이트 (#29974)
이 업데이트는 row-split 멀티코어 환경에서 flash_attn의 파티셔닝 방식을 개선하여 메모리 대역폭 활용도를 높였습니다. 기존에는 Q 토큰별로 분할되어 모든 코어가 전체 KV 캐시를 읽어야 했으나, 이제 KV 헤드별(head shard)로 처리하도록 변경되었습니다. 이로 인해 여러 모델에서 상당한 성능 향상이 관찰되었으며, 다양한 관련 모듈 업데이트도 이루어졌습니다.
10월 7일0