b11626: 장치에서 사용 가능한 메모리가 보고되지 않을 때 레이어를 균등하게 분할 (#29677)
요약
장치에서 사용 가능한 메모리가 0으로 보고될 때 발생하는 문제를 다루는 기술 문서입니다. 이 경우 분할 지점은 제로 합계로 정규화되며, NaN 분할이 발생하면 로딩이 중단되는 방식으로 처리됩니다.
핵심 포인트
- 장치별 사용 가능 메모리 0 보고 문제 해결 방안 제시
- 분할 지점은 제로 합계(zero sum)로 정규화됨
- NaN 분할 발생 시 로딩이 중단되는 메커니즘 설명
다른 탭이나 창에서 로그인했습니다. 세션을 새로고침하려면 다시 로드하십시오. 다른 탭이나 창에서 로그아웃했습니다. 세션을 새로고침하려면 다시 로드하십시오. 다른 탭이나 창에서 계정을 전환했습니다. 세션을 새로고침하려면 다시 로드하십시오. 알림 해제
모든 장치가 사용 가능한 메모리가 0으로 보고할 때, 분할 지점은 제로 합계(zero sum)로 정규화되며, NaN 분할은 레이어를 끝을 지난 장치 인덱스로 보내고 벡터::_M_range_check와 함께 로딩이 중단됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기