Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
b11806: LoRA 지원 및 prism.hadamard 접힌 가중치(folded weights) 지원 (#30910)
본 업데이트는 LoRA(Low-Rank Adaptation) 지원과 prism.hadamard 접힌 가중치(folded weights) 기능을 추가했습니다. macOS, Linux, Windows 등 광범위한 운영체제와 아키텍처를 포괄하며, CUDA 12/13, Vulkan, ROCm 등 다양한 백엔드 환경에서의 호환성을 대폭 개선하여 개발자들에게 폭넓은 활용성을 제공합니다.
1시간 전0
llama.cppAI 번역헤드라인
b11800: llama: QSA 마스크를 위한 새로운 융합 연산(fused op) 생성 (#30640)
본 기사는 Llama 모델의 QSA(Quantized Sparse Attention) 스코어링을 위한 새로운 융합 연산(fused op) 생성에 대한 내용을 다룹니다. 특히, 기존에는 특정 모델에 국한되었던 k-풀 마스크 연산을 ggml_top_k_mask로 일반화하여 DSA 및 DeepSeek V4 CSA와 같은 다양한 모델에서도 활용 가능하도록 확장했습니다.
15시간 전0
llama.cppAI 번역헤드라인
b11785: llama: MoE 다운 프로젝션에 전문가별 토큰 스케일링 적용 (#30861)
본 내용은 Llama 모델의 MoE(Mixture of Experts) 다운 프로젝션에 전문가별 토큰 스케일링을 적용하는 기술적 개선 사항을 다룹니다. 이를 통해 전역적인 amax 재조정 대신, 중간 차원(intermediate dimension)을 따라 계산된 전문가별 토큰별 계수를 사용합니다. 이 변경은 텐서 병렬성을 가능하게 하며 모델의 효율성과 정확도를 높이는 데 기여합니다.
1일 전0
llama.cppAI 번역헤드라인
b11773: 모델 추가 - H2O-Lightning-4B 의사 결정 모델 (#30361)
H2O-Lightning-4B 의사 결정 모델이 추가되었으며, 이는 결정 LoRA가 병합된 Qwen3.5-4B를 기반으로 합니다. 이 업데이트는 특정 데이터 유형(예: 부동 소수점)의 렌더링 및 레이블 처리 방식을 개선하고, 변환기가 엄격한 메타데이터 검증을 수행하도록 하여 모델 안정성을 높였습니다.
1일 전0
llama.cppAI 번역헤드라인
b11766: metal 최적화 argmax 및 pool_1d (#30862)
본 기술 기사는 Metal 프레임워크를 활용하여 argmax 및 pool_1d 연산의 성능을 최적화하는 방법을 다룹니다. 특히 대형 행 argmax에 2단계 부분 축소 방식을 적용하고, pool_1d에는 협력 스레드 그룹 축소를 도입했습니다. 이를 통해 모델 추론 과정에서 발생하는 중간 차원 계산 부하를 줄여 효율성을 높입니다.
1일 전0
llama.cppAI 번역헤드라인
b11761: ggml-cpu: NEON fp32->fp16 변환 선택 (#30505)
이 기술 기사는 GGML-CPU의 ARM NEON 관련 컴파일러 및 아키텍처 변환 과정의 버그를 다루고 있습니다. 특히 FP32에서 FP16으로의 변환 처리와 관련된 선택적 정의(selection) 문제를 지적하며, 특정 COMPUTE 매크로가 아무것도 참조하지 않는 경우에 대한 오류 검출 메커니즘 추가 필요성을 제안합니다.
1일 전0
llama.cppAI 번역헤드라인
b11758: 동적 ngram 캐시 파일 저장 기능 구현 (#22055)
본 기술 기사는 ngram 캐시 파일 저장 기능 구현 및 관련 버그 수정을 다룹니다. 특히, 동적 ngram 캐시를 종료 시점에 안전하게 저장하는 방법을 정의하고, 이전 토큰 정보 누락으로 인해 발생하는 컨텍스트 캐시 업데이트 문제를 해결했습니다.
1일 전0
llama.cppAI 번역헤드라인
b11749: ui에서 SearchInput의 기본 클리어 버튼 숨기기 (#30719)
본 기술 기사는 UI 컴포넌트인 SearchInput에서 브라우저 기본 검색 취소 버튼을 숨기는 방법을 다룹니다. 이는 자체적으로 클리어 버튼을 렌더링하는 경우, 두 개의 컨트롤이 동시에 표시되는 것을 방지하여 사용자 경험을 개선하기 위함입니다.
2일 전0
llama.cppAI 번역헤드라인
다른 탭이나 창에서 로그인하셨습니다
이 내용은 특정 웹 서비스의 로그인 및 세션 관리와 관련된 알림 메시지입니다. 다른 탭이나 창에서 활동이 감지되면 현재 세션을 새로 고치거나 재로드해야 함을 사용자에게 안내하고 있습니다.
2일 전0
llama.cppAI 번역헤드라인
b11735: metal 백엔드에서 moe_reduce 융합 경합 조건 수정 (#30795)
Metal 백엔드에서 moe_reduce 융합 커널의 경합 조건 문제를 수정하는 내용입니다. 이 융합은 입력 메모리를 dst로 재활용하려 할 때 스레드그룹 간 경합 조건을 발생시켜 비결정적인 오류를 초래할 수 있습니다. 따라서 특정 조건에서는 융합을 거부하도록 보호 장치를 추가했습니다.
2일 전0
llama.cppAI 번역헤드라인
b11730: cuda: 사용 가능한 작업량에 맞춰 MMQ Stream-K 블록 제한 (#30553)
CUDA 커널 최적화와 관련된 업데이트 내용입니다. Stream-K 블록 제한을 통해 작은 행렬 연산에서 발생하는 불필요한 CUDA 블록과 오버헤드를 제거했습니다. 또한, 모든 출력 타일에 걸친 k 반복 횟수로 그리드를 제한하여 효율성을 높였습니다.
2일 전0
llama.cppAI 번역헤드라인
b11714 릴리스 노트
llama.cpp의 릴리스 노트에는 사용자 인터페이스(UI) 개선 사항이 집중되어 있습니다. HF Hub에서 모델 검색 및 다운로드 기능 추가, 마크다운에 안전화된 HTML 지원, 그리고 'Discover' 컴포넌트 도입을 통해 모델 탐색 경험이 대폭 향상되었습니다. 또한, 일시 중지된 모델 다운로드를 재개하고 관리하는 기능도 강화되었습니다.
4일 전1
llama.cppAI 번역헤드라인
b11713: CUDA: 저비트 타입용 MMVQ 가속화 (#30517)
본문은 CUDA 관련 기술 이슈 트래커의 내용으로 보이며, 'b11713: CUDA: 저비트 타입용 MMVQ 가속화'라는 제목이 핵심입니다. 이는 특정 GPU 컴퓨팅 환경에서 저비트 데이터 타입을 위한 MMVQ(Multi-Mode Quantization) 가속화 기능을 다루는 기술 개발 이슈임을 알 수 있습니다.
4일 전1
llama.cppAI 번역헤드라인
b11699 릴리스: HTTP_PROXY/HTTPS_PROXY 환경 변수 지원 및 프록시 처리 개선
llama.cpp의 HTTP 클라이언트가 표준 환경 변수(HTTP_PROXY/HTTPS_PROXY)를 인식하도록 개선되었습니다. 이를 통해 기업 네트워크나 에어 갭 인프라 등 프록시 설정이 필요한 환경에서도 안정적인 다운로드가 가능해졌습니다. 또한, NO_PROXY 지원 및 루프백 목적지 우회 기능도 추가되어 사용성이 크게 향상되었습니다.
5일 전0
llama.cppAI 번역헤드라인
b11683: Vulkan: 호스트 메모리 문제 수정 (#30468)
Vulkan 드라이버 업데이트를 통해 여러 기술적 문제를 수정했습니다. 주요 변경 사항으로는 Vulkan에서 호스트 포인터 가져오기 실패 시 발생하는 로그 스팸을 줄이고, 공유 메모리 처리 방식에 개선이 이루어졌습니다. 또한, AMD GPU의 성능 문제로 인해 호스트 메모리 버퍼 공유 기능이 비활성화되었습니다.
6일 전1
llama.cppAI 번역헤드라인
b11676: [SYCL] 빌드 스크립트에 ssl 활성화 및 CI (#30456)
이 기술 기사는 빌드 스크립트와 종속성을 업데이트하는 내용을 다룹니다. 특히 CI 환경과 Dockerfile에서 기본적으로 OPENSSL을 활성화하고, Windows 환경에서는 LLAMA_BUILD_BORINGSSL로 변경하는 등의 개발 프로세스 개선 사항을 포함합니다.
6일 전1
llama.cppAI 번역헤드라인
b11671: 모델 추가 - Muse Spark Open (텍스트, 비전 및 오디오)
Muse Spark Open 모델이 텍스트, 비전, 오디오 기능을 통합한 잠재 공간 MoE(Mixture of Experts) 아키텍처를 소개합니다. 이 모델은 Top-8 sigmoid 라우팅과 보정 바이어스 등을 활용하며, Vision에는 Muse Glimmer tower를 재사용하고 Audio는 인과적 컨볼루션 피라미드 구조를 채택했습니다.
6일 전2
llama.cppAI 번역헤드라인
llama.cpp v0.7.0 릴리스 노트
llama.cpp v0.7.0 릴리스 노트는 성능 최적화와 모델 지원 확장에 초점을 맞추고 있습니다. 특히 MoE expert를 위한 새로운 GPU 캐시(`--moe-cache-mib`)가 추가되어 디코드 속도가 최대 2.2배 향상되었으며, LiliCorr 및 GLM5-Next 같은 고급 스페큘레이티브 디코딩 기술이 도입되었습니다.
6일 전1
llama.cppAI 번역헤드라인
b11644: kv-cache: plain KV cache에서 PARTIAL_ONLY를 처리하도록 개선 (#30514)
본 기술 기사는 Llama의 KV 캐시 구현 개선 사항을 다룹니다. 기존에는 plain KV 캐시가 PARTIAL_ONLY 플래그를 무시하고 모든 셀을 직렬화하여, 임시 컨텍스트에서 불필요하게 큰 메모리 사용량을 초래했습니다. 이번 업데이트로 캐시는 SWA인 경우를 제외하고 PARTIAL_ONLY에 대해 쓰기/읽기를 수행하지 않게 되어 메모리 효율성이 크게 향상되었습니다.
6일 전0
llama.cppAI 번역헤드라인
b11643: 임베딩 없이 그래프가 비어있지 않도록 유지 (#30522)
임베딩이 없는 그래프가 비어지는 문제를 해결하기 위한 기술적 개선 사항입니다. 임베딩만 있는 경우 로짓(logits)이 없으며, 임베딩이 비활성화되면 build_pooling()에서 조기에 반환되어 모델의 t_embd 확장이 중단되고 입력값이 할당되지 않는 문제가 발생했습니다. 이를 방지하기 위해 t_embd를 확장하도록 수정해야 합니다.
6일 전1