Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SYCL에 set_tensor_2d 기능이 추가되어 대용량 텐서 분할 로딩 속도가 크게 향상되었습니다. 이 기능을 통해 연속적인 목적지 행을 최대 64 MiB 청크로 패킹하여 불필요한 업로드 호출을 줄입니다. 실제 모델 실행 테스트에서 기존 대비 현저하게 단축된 성능 개선이 확인되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기목적지 행(destination rows)이 연속적일 경우 호스트 행을 최대 64 MiB 청크로 패킹하여, 각 행마다 별도의 업로드 호출을 방지합니다. 비연속적인 목적지의 경우 기존의 행별 복사 경로를 유지합니다.
gpt-oss-120b UD-Q4_K_XL 모델을 사용하는 두 대의 Arc Pro B70에서 전체 llama-perplexity 실행 시간이 263268초에서 114115초로 감소했습니다. 전체 로드 리드백 검사 결과, 26,784,256개의 행이 불일치 없이 확인되었습니다.
기존의 고정된(pinned) 스테이징 슬롯에 행을 패킹하고 각 배치를 단일 장치 복사(single device copy)로 업로드하여 텐서 분할 모델 로딩 속도를 높이기 위해 set_tensor_2d를 구현했습니다.
스테이징 초기화(staging initialization)를 set_tensor와 공유하고 슬롯을 재사용할 때만 대기함으로써, CPU 패킹과 장치 복사(device copies)가 중첩되도록 허용합니다.
비연속적인 장치 행(noncontiguous device rows), 크기가 큰 행(oversized rows) 또는 스테이징을 사용할 수 없는 경우 행별 업로드로 폴백합니다.
Co-authored-by: Jon Staples [email protected]