b10173 버전에서 - "state":"loading" 4분 54초. - 이 PR과 GGML_RPC_LOAD_THREADS 12를 사용했을 때 - "state":"loading" 1분 38초. 이 PR은 거의 완료 단계이며, 만약 새로운 GGML_RPC_LOAD_THREADS 변수를 유지하고 싶다면 문서(docs) 변경이 필요할 것입니다. 클라이언트 측 문제가 해결되었으니, 다른 누군가가 남은 서버 측 노력을 맡아주기를 바라며 이 PR이 채택되기를 희망합니다. 이 정도 크기에서 1분 미만의 모델 로딩을 달성한다면 정말 놀라울 것이며, 아직 멀지 않았습니다. 제가 이 기능을 저사양 하드웨어(potato hardware)에서 개발했다는 점과, 이를 테스트하는 사람이 아마 제 전체 시스템 구축 비용만큼의 비용을 시간당 지불하고 있을지도 모른다는 점이 약간 재미있었습니다. 하지만 주권 AI 전쟁(Sovereign AI Wars)에서, 저는 2~3대의 게이밍 PC로 구동되는 소시민들을 위해 코드를 작성합니다. /u/Chuyito 제출 [link] [comments]