Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
b11806: LoRA 지원 및 prism.hadamard 접힌 가중치(folded weights) 지원 (#30910)
본 업데이트는 LoRA(Low-Rank Adaptation) 지원과 prism.hadamard 접힌 가중치(folded weights) 기능을 추가했습니다. macOS, Linux, Windows 등 광범위한 운영체제와 아키텍처를 포괄하며, CUDA 12/13, Vulkan, ROCm 등 다양한 백엔드 환경에서의 호환성을 대폭 개선하여 개발자들에게 폭넓은 활용성을 제공합니다.
2시간 전0
llama.cppAI 번역헤드라인
b11766: metal 최적화 argmax 및 pool_1d (#30862)
본 기술 기사는 Metal 프레임워크를 활용하여 argmax 및 pool_1d 연산의 성능을 최적화하는 방법을 다룹니다. 특히 대형 행 argmax에 2단계 부분 축소 방식을 적용하고, pool_1d에는 협력 스레드 그룹 축소를 도입했습니다. 이를 통해 모델 추론 과정에서 발생하는 중간 차원 계산 부하를 줄여 효율성을 높입니다.
1일 전0
llama.cppAI 번역헤드라인
b11758: 동적 ngram 캐시 파일 저장 기능 구현 (#22055)
본 기술 기사는 ngram 캐시 파일 저장 기능 구현 및 관련 버그 수정을 다룹니다. 특히, 동적 ngram 캐시를 종료 시점에 안전하게 저장하는 방법을 정의하고, 이전 토큰 정보 누락으로 인해 발생하는 컨텍스트 캐시 업데이트 문제를 해결했습니다.
1일 전0
llama.cppAI 번역헤드라인
b11749: ui에서 SearchInput의 기본 클리어 버튼 숨기기 (#30719)
본 기술 기사는 UI 컴포넌트인 SearchInput에서 브라우저 기본 검색 취소 버튼을 숨기는 방법을 다룹니다. 이는 자체적으로 클리어 버튼을 렌더링하는 경우, 두 개의 컨트롤이 동시에 표시되는 것을 방지하여 사용자 경험을 개선하기 위함입니다.
2일 전0
llama.cppAI 번역헤드라인
다른 탭이나 창에서 로그인하셨습니다
이 내용은 특정 웹 서비스의 로그인 및 세션 관리와 관련된 알림 메시지입니다. 다른 탭이나 창에서 활동이 감지되면 현재 세션을 새로 고치거나 재로드해야 함을 사용자에게 안내하고 있습니다.
2일 전0
llama.cppAI 번역헤드라인
b11730: cuda: 사용 가능한 작업량에 맞춰 MMQ Stream-K 블록 제한 (#30553)
CUDA 커널 최적화와 관련된 업데이트 내용입니다. Stream-K 블록 제한을 통해 작은 행렬 연산에서 발생하는 불필요한 CUDA 블록과 오버헤드를 제거했습니다. 또한, 모든 출력 타일에 걸친 k 반복 횟수로 그리드를 제한하여 효율성을 높였습니다.
2일 전0
llama.cppAI 번역헤드라인
b11714 릴리스 노트
llama.cpp의 릴리스 노트에는 사용자 인터페이스(UI) 개선 사항이 집중되어 있습니다. HF Hub에서 모델 검색 및 다운로드 기능 추가, 마크다운에 안전화된 HTML 지원, 그리고 'Discover' 컴포넌트 도입을 통해 모델 탐색 경험이 대폭 향상되었습니다. 또한, 일시 중지된 모델 다운로드를 재개하고 관리하는 기능도 강화되었습니다.
4일 전1
llama.cppAI 번역헤드라인
b11699 릴리스: HTTP_PROXY/HTTPS_PROXY 환경 변수 지원 및 프록시 처리 개선
llama.cpp의 HTTP 클라이언트가 표준 환경 변수(HTTP_PROXY/HTTPS_PROXY)를 인식하도록 개선되었습니다. 이를 통해 기업 네트워크나 에어 갭 인프라 등 프록시 설정이 필요한 환경에서도 안정적인 다운로드가 가능해졌습니다. 또한, NO_PROXY 지원 및 루프백 목적지 우회 기능도 추가되어 사용성이 크게 향상되었습니다.
5일 전0
llama.cppAI 번역헤드라인
b11683: Vulkan: 호스트 메모리 문제 수정 (#30468)
Vulkan 드라이버 업데이트를 통해 여러 기술적 문제를 수정했습니다. 주요 변경 사항으로는 Vulkan에서 호스트 포인터 가져오기 실패 시 발생하는 로그 스팸을 줄이고, 공유 메모리 처리 방식에 개선이 이루어졌습니다. 또한, AMD GPU의 성능 문제로 인해 호스트 메모리 버퍼 공유 기능이 비활성화되었습니다.
6일 전1
llama.cppAI 번역헤드라인
b11676: [SYCL] 빌드 스크립트에 ssl 활성화 및 CI (#30456)
이 기술 기사는 빌드 스크립트와 종속성을 업데이트하는 내용을 다룹니다. 특히 CI 환경과 Dockerfile에서 기본적으로 OPENSSL을 활성화하고, Windows 환경에서는 LLAMA_BUILD_BORINGSSL로 변경하는 등의 개발 프로세스 개선 사항을 포함합니다.
6일 전1
llama.cppAI 번역헤드라인
llama.cpp v0.7.0 릴리스 노트
llama.cpp v0.7.0 릴리스 노트는 성능 최적화와 모델 지원 확장에 초점을 맞추고 있습니다. 특히 MoE expert를 위한 새로운 GPU 캐시(`--moe-cache-mib`)가 추가되어 디코드 속도가 최대 2.2배 향상되었으며, LiliCorr 및 GLM5-Next 같은 고급 스페큘레이티브 디코딩 기술이 도입되었습니다.
6일 전1
llama.cppAI 번역헤드라인
b11644: kv-cache: plain KV cache에서 PARTIAL_ONLY를 처리하도록 개선 (#30514)
본 기술 기사는 Llama의 KV 캐시 구현 개선 사항을 다룹니다. 기존에는 plain KV 캐시가 PARTIAL_ONLY 플래그를 무시하고 모든 셀을 직렬화하여, 임시 컨텍스트에서 불필요하게 큰 메모리 사용량을 초래했습니다. 이번 업데이트로 캐시는 SWA인 경우를 제외하고 PARTIAL_ONLY에 대해 쓰기/읽기를 수행하지 않게 되어 메모리 효율성이 크게 향상되었습니다.
6일 전0
llama.cppAI 번역헤드라인
b11643: 임베딩 없이 그래프가 비어있지 않도록 유지 (#30522)
임베딩이 없는 그래프가 비어지는 문제를 해결하기 위한 기술적 개선 사항입니다. 임베딩만 있는 경우 로짓(logits)이 없으며, 임베딩이 비활성화되면 build_pooling()에서 조기에 반환되어 모델의 t_embd 확장이 중단되고 입력값이 할당되지 않는 문제가 발생했습니다. 이를 방지하기 위해 t_embd를 확장하도록 수정해야 합니다.
10월 15일1
llama.cppAI 번역헤드라인
b11626: 장치에서 사용 가능한 메모리가 보고되지 않을 때 레이어를 균등하게 분할 (#29677)
장치에서 사용 가능한 메모리가 0으로 보고될 때 발생하는 문제를 다루는 기술 문서입니다. 이 경우 분할 지점은 제로 합계로 정규화되며, NaN 분할이 발생하면 로딩이 중단되는 방식으로 처리됩니다.
10월 14일2
llama.cppAI 번역헤드라인
다른 탭이나 창에서 로그인했습니다
이 메시지는 사용자가 다른 브라우저 탭, 창 또는 장치에서 로그인 상태를 변경했을 때 발생하는 일반적인 알림입니다. 보안상의 이유로 세션의 무결성을 유지하기 위해 사용자에게 페이지를 새로고침하여 최신 상태의 세션을 로드하도록 안내합니다.
10월 14일1
llama.cppAI 번역헤드라인
b11612: 유니그램 토크나이저에 선택적 NFC 정규화 추가 (#30390)
Unigram 토크나이저에 선택적 NFC 정규화 기능을 추가하는 업데이트 내용입니다. 이 변경 사항은 텍스트 전처리 과정에서 유니코드 처리를 개선하여, 모델 학습 및 개발 환경의 안정성을 높이는 데 기여합니다.
10월 14일1
llama.cppAI 번역헤드라인
b11599: llama - 외부 범위를 백엔드 버퍼에 매핑하지 않음
Llama 모델의 최적화 개선 사항을 다루며, 특히 메모리 관리와 텐서 로딩 효율성을 높이는 방법을 제시합니다. 외부 범위를 백엔드 버퍼에 매핑하지 않도록 수정하여 불필요한 데이터 고정을 방지하고, 컨텍스트별 파일 범위 계산 및 전용 버퍼 생성을 통해 성능을 향상시켰습니다.
10월 13일1
llama.cppAI 번역헤드라인
b11596: 테스트 통합 - 컨텍스트 상태 테스트를 test-llama-context로 통합 (#30023)
llama.cpp 프로젝트에서 컨텍스트 상태 테스트들을 test-llama-context로 통합하여 구조를 개선했습니다. 이 새로운 통합 테스트는 KV 캐시 저장/로드, 순환 상태 롤백 등 핵심 기능을 하나의 바이너리로 검증하며, 모델 로딩 및 설정 변경 시 발생하던 스레드 간의 문제를 해결했습니다.
10월 13일1
llama.cppAI 번역헤드라인
b11592: cuda에 GGML_CUDA_GRAPH_DEBUG 추가 및 환경 변수 한 번 읽기 (#30327)
이 커밋은 ggml-cuda 라이브러리에 여러 개선 사항을 적용했습니다. 주요 변경점으로는 `GGML_CUDA_GRAPH_DEBUG`를 통해 CUDA 그래프 디버그 로그 제어가 가능해진 점과, 환경 변수를 호출할 때마다 재읽는 대신 정적 const에 캐싱하여 효율성을 높인 것입니다.
10월 13일0
llama.cppAI 번역헤드라인
b11589: spec : dsv4 그래프_mtp에서 토큰 assert 제거 (#30444)
이 기사는 특정 개발 환경(b11589: spec : dsv4 그래프_mtp)에서 토큰 assert를 제거하는 변경 사항에 대한 기술적인 내용을 다루고 있습니다. 이는 주로 세션 관리 및 인증 관련 버그 수정 또는 기능 개선을 목표로 합니다.
10월 13일0