Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
llama.cppAI 번역헤드라인
b11639: opencl: 비연속적 뷰(non-contiguous views)에 대한 CLAMP 지원 (#30186)
CLAMP 커널이 소스 및 목적지를 평평하고 연속적인 배열로 인덱싱하면서, 입력으로 스트라이디드 뷰(strided view)인 경우 잘못된 요소를 읽는 문제가 발생했습니다. 이를 해결하기 위해 소스가 연속적이지 않을 때 사용할 수 있는 새로운 단항 연산 `_clamp_nc`를 추가하여 기능을 개선합니다.
10월 15일2
llama.cppAI 번역헤드라인
b11632: cuda, hip: GDN chunked kernel
본 기사는 cuda와 hip 환경에서 GDN(Generalized Dynamic Network) chunked kernel 구현에 대한 기술 업데이트를 다룹니다. 특히 Ampere 및 Ada GPU 아키텍처에서 GDN MMA 활성화가 테스트되었으며, RTX 3090과 RTX 4090을 통해 정확성 및 prefill 벤치마크가 진행되었습니다.
10월 15일1
llama.cppAI 번역헤드라인
b11626: 장치에서 사용 가능한 메모리가 보고되지 않을 때 레이어를 균등하게 분할 (#29677)
장치에서 사용 가능한 메모리가 0으로 보고될 때 발생하는 문제를 다루는 기술 문서입니다. 이 경우 분할 지점은 제로 합계로 정규화되며, NaN 분할이 발생하면 로딩이 중단되는 방식으로 처리됩니다.
10월 14일2
llama.cppAI 번역헤드라인
다른 탭이나 창에서 로그인했습니다
이 메시지는 사용자가 다른 브라우저 탭, 창 또는 장치에서 로그인 상태를 변경했을 때 발생하는 일반적인 알림입니다. 보안상의 이유로 세션의 무결성을 유지하기 위해 사용자에게 페이지를 새로고침하여 최신 상태의 세션을 로드하도록 안내합니다.
10월 14일1
llama.cppAI 번역헤드라인
b11623: cuda : WMMA 없이 AMD에서 SIMT 암시적 GEMM conv2d 사용
CUDA 관련 업데이트 내용을 다루며, AMD 환경에서 WMMA 없이도 SIMT 암시적 GEMM conv2d 사용에 대한 개선 사항을 안내합니다. 이는 GPU 아키텍처 레벨의 최적화 및 호환성 향상과 관련된 기술적인 내용입니다.
10월 14일1
llama.cppAI 번역헤드라인
b11618: HIP: RDNA3.5에서 일부 양자화 타입에 대해 64행 MMQ 타일 사용 (#28195)
RDNA3.5 아키텍처의 설정 테이블에 대한 업데이트 내용을 다루고 있습니다. 특히 gfx115x GPU에서 특정 양자화 타입에 대해 64행 MMQ 타일을 사용하는 것이 성능 개선을 가져왔습니다. 이 변경은 LDS 여유 공간 확보와 관련이 있으며, 테스트 결과 중앙값 대비 최대 +26.0%의 성능 향상을 보였습니다.
10월 14일1
llama.cppAI 번역헤드라인
b11612: 유니그램 토크나이저에 선택적 NFC 정규화 추가 (#30390)
Unigram 토크나이저에 선택적 NFC 정규화 기능을 추가하는 업데이트 내용입니다. 이 변경 사항은 텍스트 전처리 과정에서 유니코드 처리를 개선하여, 모델 학습 및 개발 환경의 안정성을 높이는 데 기여합니다.
10월 14일1
llama.cppAI 번역헤드라인
b11599: llama - 외부 범위를 백엔드 버퍼에 매핑하지 않음
Llama 모델의 최적화 개선 사항을 다루며, 특히 메모리 관리와 텐서 로딩 효율성을 높이는 방법을 제시합니다. 외부 범위를 백엔드 버퍼에 매핑하지 않도록 수정하여 불필요한 데이터 고정을 방지하고, 컨텍스트별 파일 범위 계산 및 전용 버퍼 생성을 통해 성능을 향상시켰습니다.
10월 13일1
llama.cppAI 번역헤드라인
b11596: 테스트 통합 - 컨텍스트 상태 테스트를 test-llama-context로 통합 (#30023)
llama.cpp 프로젝트에서 컨텍스트 상태 테스트들을 test-llama-context로 통합하여 구조를 개선했습니다. 이 새로운 통합 테스트는 KV 캐시 저장/로드, 순환 상태 롤백 등 핵심 기능을 하나의 바이너리로 검증하며, 모델 로딩 및 설정 변경 시 발생하던 스레드 간의 문제를 해결했습니다.
10월 13일1
llama.cppAI 번역헤드라인
b11592: cuda에 GGML_CUDA_GRAPH_DEBUG 추가 및 환경 변수 한 번 읽기 (#30327)
이 커밋은 ggml-cuda 라이브러리에 여러 개선 사항을 적용했습니다. 주요 변경점으로는 `GGML_CUDA_GRAPH_DEBUG`를 통해 CUDA 그래프 디버그 로그 제어가 가능해진 점과, 환경 변수를 호출할 때마다 재읽는 대신 정적 const에 캐싱하여 효율성을 높인 것입니다.
10월 13일0
llama.cppAI 번역헤드라인
b11589: spec : dsv4 그래프_mtp에서 토큰 assert 제거 (#30444)
이 기사는 특정 개발 환경(b11589: spec : dsv4 그래프_mtp)에서 토큰 assert를 제거하는 변경 사항에 대한 기술적인 내용을 다루고 있습니다. 이는 주로 세션 관리 및 인증 관련 버그 수정 또는 기능 개선을 목표로 합니다.
10월 13일0
llama.cppAI 번역헤드라인
b11580: hexagon: 이진 연산에 대한 스칼라 DMA 브로드캐스팅 지원 확장 (#30245)
이 기술 기사는 AI 연산 라이브러리(ggml 등)의 성능 개선 및 기능 확장에 대한 내용을 다룹니다. 스칼라 DMA 브로드캐스팅 지원을 확장하고, 다양한 이진 연산 경로를 최적화하여 메모리 접근 효율성과 계산 정확도를 높이는 데 중점을 두었습니다.
10월 13일1
llama.cppAI 번역헤드라인
b11570: 테스트를 사용되는 라이브러리에만 연결하도록 수정 (#30299)
이 업데이트는 llama_build()와 llama_build_and_test() 함수에 LINK 키워드를 도입하여, 테스트가 실제로 필요한 라이브러리만 명시적으로 연결하도록 수정했습니다. 이를 통해 ggml 전용 및 llama 전용 테스트의 의존성이 분리되고, 각 컴포넌트별로 더 정확한 빌드 환경을 구축할 수 있게 되었습니다.
10월 12일2
llama.cppAI 번역헤드라인
b11567: llama 추론 중 compute graph 재할당 보고 기능 추가 (#30329)
llama.cpp에 compute graph 재할당 보고 기능이 추가되었습니다. 사용자가 등록하는 콜백을 통해, 그래프 버퍼가 부족하여 재할당될 때 알림을 받을 수 있습니다. 이 기능을 활용해 백엔드 할당 및 그래프 크기 변화를 추적하고 성능 통계를 얻을 수 있습니다.
10월 12일1
llama.cppAI 번역헤드라인
b11563: ggml: 심볼 기본 가시성 변경 (hidden) (#30014)
제공된 본문은 기술 기사라기보다는 웹 애플리케이션의 일반적인 사용자 인터페이스(UI) 알림 메시지입니다. 따라서 특정 기술적 내용을 분석하기 어렵습니다.
10월 12일1
llama.cppAI 번역헤드라인
b11560: hexagon에 IM2COL_3D 지원 추가
본 기술 기사는 hexagon 프로세서의 이미지 처리(IM2COL) 기능에 대한 여러 최적화 및 개선 사항을 다룹니다. IM2COL_3D 지원 추가, DMA 경로 개선, 그리고 스칼라 변환 방지 등 다양한 하드웨어 레벨의 성능 향상을 목표로 합니다.
10월 12일0
llama.cppAI 번역헤드라인
b11557: rpc의 디버그 로깅을 가시성 수준으로 변경하고 로그 추가 (#29544)
본 업데이트는 RPC 로깅 시스템의 가시성(verbosity) 레벨을 도입하여 디버깅 기능을 대폭 개선했습니다. 이제 0부터 3까지의 숫자로 로그 상세도를 제어할 수 있으며, 클라이언트와 서버 모두에 걸쳐 다양한 생명주기 이벤트 및 전송 세부 정보가 추가되었습니다.
10월 11일1
llama.cppAI 번역헤드라인
다른 탭이나 창에서 로그인했습니다
이 메시지는 사용자가 현재 보고 있는 웹 애플리케이션의 세션 상태가 다른 브라우저 탭이나 창에서 변경되었음을 알려줍니다. 따라서 최신 정보를 반영하기 위해 페이지를 새로고침(reload)해야 함을 안내하는 알림입니다.
10월 11일2
llama.cppAI 번역헤드라인
b11552: 서버가 요청이 바쁜 슬롯을 건드리지 않도록 수정 (#30295)
서버가 처리 중인(바쁜) ID 슬롯을 건드리는 과정에서 프롬프트 캐시 업데이트 지연 및 잘못된 컨텍스트 로딩 문제가 발생했습니다. 수정된 버전에서는 바쁜 슬롯을 그대로 반환하고 요청이 이를 기다리도록 하여, 데이터 일관성과 안정성을 높였습니다.
10월 10일1
llama.cppAI 번역헤드라인
b11537: 그래프 재정렬 및 임베딩을 위한 get_rows 수정 (#30160)
이 커밋은 그래프 데이터의 효율적인 임베딩을 위해 get_rows 함수를 재정렬하고, Gemma4 모델 관련 입력 임베딩 구성 로직을 개선하는 내용을 담고 있습니다. 또한 LORA에 대한 TODO 추가 및 raw 임베딩 경로 수정 등 전반적인 시스템 안정화 작업을 진행했습니다.
10월 9일0