Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
b11800: llama: QSA 마스크를 위한 새로운 융합 연산(fused op) 생성 (#30640)
본 기사는 Llama 모델의 QSA(Quantized Sparse Attention) 스코어링을 위한 새로운 융합 연산(fused op) 생성에 대한 내용을 다룹니다. 특히, 기존에는 특정 모델에 국한되었던 k-풀 마스크 연산을 ggml_top_k_mask로 일반화하여 DSA 및 DeepSeek V4 CSA와 같은 다양한 모델에서도 활용 가능하도록 확장했습니다.
16시간 전0
llama.cppAI 번역헤드라인
b11785: llama: MoE 다운 프로젝션에 전문가별 토큰 스케일링 적용 (#30861)
본 내용은 Llama 모델의 MoE(Mixture of Experts) 다운 프로젝션에 전문가별 토큰 스케일링을 적용하는 기술적 개선 사항을 다룹니다. 이를 통해 전역적인 amax 재조정 대신, 중간 차원(intermediate dimension)을 따라 계산된 전문가별 토큰별 계수를 사용합니다. 이 변경은 텐서 병렬성을 가능하게 하며 모델의 효율성과 정확도를 높이는 데 기여합니다.
1일 전0
llama.cppAI 번역헤드라인
b11773: 모델 추가 - H2O-Lightning-4B 의사 결정 모델 (#30361)
H2O-Lightning-4B 의사 결정 모델이 추가되었으며, 이는 결정 LoRA가 병합된 Qwen3.5-4B를 기반으로 합니다. 이 업데이트는 특정 데이터 유형(예: 부동 소수점)의 렌더링 및 레이블 처리 방식을 개선하고, 변환기가 엄격한 메타데이터 검증을 수행하도록 하여 모델 안정성을 높였습니다.
1일 전0
llama.cppAI 번역헤드라인
b11671: 모델 추가 - Muse Spark Open (텍스트, 비전 및 오디오)
Muse Spark Open 모델이 텍스트, 비전, 오디오 기능을 통합한 잠재 공간 MoE(Mixture of Experts) 아키텍처를 소개합니다. 이 모델은 Top-8 sigmoid 라우팅과 보정 바이어스 등을 활용하며, Vision에는 Muse Glimmer tower를 재사용하고 Audio는 인과적 컨볼루션 피라미드 구조를 채택했습니다.
6일 전2
llama.cppAI 번역헤드라인
b11639: opencl: 비연속적 뷰(non-contiguous views)에 대한 CLAMP 지원 (#30186)
CLAMP 커널이 소스 및 목적지를 평평하고 연속적인 배열로 인덱싱하면서, 입력으로 스트라이디드 뷰(strided view)인 경우 잘못된 요소를 읽는 문제가 발생했습니다. 이를 해결하기 위해 소스가 연속적이지 않을 때 사용할 수 있는 새로운 단항 연산 `_clamp_nc`를 추가하여 기능을 개선합니다.
10월 15일2
llama.cppAI 번역헤드라인
b11632: cuda, hip: GDN chunked kernel
본 기사는 cuda와 hip 환경에서 GDN(Generalized Dynamic Network) chunked kernel 구현에 대한 기술 업데이트를 다룹니다. 특히 Ampere 및 Ada GPU 아키텍처에서 GDN MMA 활성화가 테스트되었으며, RTX 3090과 RTX 4090을 통해 정확성 및 prefill 벤치마크가 진행되었습니다.
10월 15일1
llama.cppAI 번역헤드라인
b11570: 테스트를 사용되는 라이브러리에만 연결하도록 수정 (#30299)
이 업데이트는 llama_build()와 llama_build_and_test() 함수에 LINK 키워드를 도입하여, 테스트가 실제로 필요한 라이브러리만 명시적으로 연결하도록 수정했습니다. 이를 통해 ggml 전용 및 llama 전용 테스트의 의존성이 분리되고, 각 컴포넌트별로 더 정확한 빌드 환경을 구축할 수 있게 되었습니다.
10월 12일2
llama.cppAI 번역헤드라인
b11530: llama: ubatch 전반에 걸쳐 백엔드 샘플링 그래프를 정적하게 유지 (#30223)
llama 모델의 ubatch 처리 방식에 대한 기술적 개선 사항을 다루고 있습니다. 기존에는 샘플러와 디코더가 출력 행별로 체인을 구축하는 차이가 있었으나, 이제 모든 샘플러가 패딩된 ubatch 행과 선택되지 않은 체인들을 포함하여 일관되게 n_outputs_max_per_seq 개의 체인을 구축하도록 변경되었습니다.
10월 9일2
llama.cppAI 번역헤드라인
b11512: 모델 수정 사항 - DFlash 출력 헤드 공유 문제 해결 (#30111)
본 기사는 Llama 모델의 성능 개선 및 안정화에 관한 기술적인 수정 사항을 다룹니다. 주요 내용은 DFlash 출력 헤드 공유 문제 해결, GGUF 메타데이터를 활용한 연결 가중치 읽기 기능 추가 등입니다. 이는 모델의 효율성과 정확도를 높이는 데 초점을 맞추고 있습니다.
10월 8일1
llama.cppAI 번역헤드라인
b11497: sycl에서 델타넷 알파 게이트 병합 (add + unary + mul) (#29687)
본 기술 기사는 SYCL 표준에서 델타넷 알파 게이트(Delta-Net Alpha Gate)를 덧셈, 단항 연산, 곱셈을 포함하여 통합하는 내용을 다룹니다. 이는 하드웨어 가속 및 컴퓨팅 효율성을 개선하기 위한 중요한 진전입니다.
10월 8일1
llama.cppAI 번역헤드라인
b11495: 모델 지원 기능 업데이트 (rerankers의 classifier_activation 지원) (#29692)
Claude Opus 5.5 모델에 대한 여러 기능 업데이트가 이루어졌습니다. 주요 변경 사항으로는 rerankers를 위한 classifier_activation 지원, 그리고 활성화 함수(activation function) 관련 수정이 포함됩니다. 특히 gelu_erf 매핑 및 tanh 허용 등 모델의 기술적 깊이를 더하는 개선이 진행되었습니다.
10월 8일0
llama.cppAI 번역헤드라인
b11479: cuda: pool2d의 비(非)응집 메모리 읽기 업데이트 (#29425)
이 커밋은 CUDA의 `pool2d` 함수와 관련된 메모리 읽기 최적화 및 버그 수정을 다룹니다. 특히 비(非)응집 메모리 읽기에 대한 업데이트를 포함하며, 성능 향상과 안정성 개선을 목표로 합니다.
10월 7일0
llama.cppAI 번역헤드라인
b11400: llama에서 임베딩(embd)과 원시 토큰을 배치로 모두 지원 (#29622)
llama 아키텍처가 임베딩(embedding)과 원시 토큰을 배치로 함께 지원하도록 업데이트되었습니다. 이는 `test-llama-archs`에 추가되었으며, 혼합 배치를 위한 전용 입력 제공 및 m-rope 위치 처리 통합 등의 개선 사항이 포함되었습니다.
10월 7일2
llama.cppAI 번역헤드라인
b11477: llama 모델이 다음(nextn) 텐서 플래그를 모델 간에 공유하도록 개선
Llama 모델의 성능 개선을 위해 다음(nextn) 텐서 플래그 공유 기능이 업데이트되었습니다. 이로써 여러 모델에서 트렁크 전용 및 MTP 전용 감지 로직이 통합되었으며, 다양한 모델들이 트렁크 전용 파일을 수락할 수 있게 되었습니다.
10월 7일1
llama.cppAI 번역헤드라인
b11422: cuda: MUSA에서 벡터 라이트닝 인덱서 커널 사용 (#29990)
본 문서는 MUSA 아키텍처의 메모리 제약 사항(28 KB)으로 인해, 타일 커널이 쿼리를 스테이징하는 방식에 변화를 가져왔습니다. 이로써 헤드 패스에서 라이트닝 인덱서가 쿼리를 스테이징하며, 이는 기존 벡터 커널을 유지하고 CUDA 및 ROCm 환경에서도 원활하게 작동하도록 개선되었습니다.
10월 7일1
llama.cppAI 번역헤드라인
b11435: llama에서 공유된 시퀀스에 대한 k-pool의 scatter 데이터 레이스 수정 (#29994)
Llama 모델의 k-pool 관련 데이터 레이스 문제를 수정하고, 공유 시퀀스 처리 방식을 개선했습니다. 특히 여러 시퀀스가 공유하는 풀링된 키가 중복 작성하여 발생하던 CPU 백엔드의 데이터 레이스를 해결했습니다. 또한, 메모리 관리 및 캐시 안전성 모드 제거를 통해 모델의 안정성과 효율성을 높였습니다.
10월 7일1
llama.cppAI 번역헤드라인
b11454: 모델에 K2 Horizon Dense 및 MoVA 지원 추가 (#29535)
본 기사는 K2 Horizon 모델의 GGUF 변환 코드와 관련 개선 사항을 다룹니다. 특히, 유니코드 처리 및 정규식(regex) 오류를 수정하고, Dense 및 MoVA 지원을 추가하여 모델의 안정성과 기능을 향상시킨 내용을 포함합니다. 또한, 추론 과정에서 JSON 스키마 강제 적용 등 다양한 고급 기능이 구현되었습니다.
10월 6일0
llama.cppAI 번역헤드라인
b11453: llama에서 glm5-next 희소 어텐션의 gather 경로 제거 (#30042)
이 커밋은 Llama 모델에서 GLM-5-Next의 희소 어텐션(sparse attention) 구현을 개선하는 내용을 담고 있습니다. 기존에 사용되던 gather 경로는 특정 조건(n_ubatch <= 16)에서만 작동했으나, 이제 scatter 경로가 모든 경우를 처리하도록 수정되었습니다.
10월 6일0
llama.cppAI 번역헤드라인
b11439: ggml: 선택적 전문가 복사(selective expert copying)를 사용자 코드로 리팩토링 (#29943)
ggml 프로젝트에서 선택적 전문가 복사(selective expert copying) 기능을 사용자 코드 레벨로 리팩토링했습니다. 이를 통해 사용자가 직접 코드를 수정하여 해당 기능을 활용할 수 있도록 개선되었습니다. 또한, deepseek2 모델을 테스트 모델로 추가하고 관련 주석도 업데이트하였습니다.
10월 6일2
llama.cppAI 번역헤드라인
model: MTP speculative decoding을 통한 Hy3 (hy_v3) 지원 추가 ([#25395](https://github.c
llama.cpp 프로젝트에 Tencent Hunyuan 3(Hy3) 아키텍처 지원이 추가되었습니다. MTP speculative decoding을 지원하며, MoE(Mixture-of-Experts) 구조를 갖춘 Hy3 모델을 GGUF 형식으로 사용할 수 있습니다.
7월 20일0