[IMG:1] GLM5.2의 도움을 받아 드디어 이것을 수정할 시간을 냈습니다. (이전에는 별다른 성과를 얻지 못했던) vLLM (vLLM)으로 이를 실행할 수 있었던 비결은, 장치 기능(device capabilities)을 반환하도록 rtGetDevMsg를 구현하는 스텁(stub)을 작성할 수 있다는 점을 깨달은 것이었습니다 (기본적으로 카드로부터 응답을 가짜로 만드는 것입니다). 이는 장치에서 torch_npu가 제대로 작동하도록 하는 데 필요합니다. 이를 통해 마침내 이 장치에서 vLLM을 사용할 수 있게 되었고, 실제로 유용하게 만들 수 있었습니다. GLM5.2의 도움을 받아 드디어 이것을 수정할 시간을 냈습니다. (이전에는 별다른 성과를 얻지 못했던) vLLM (vLLM)으로 이를 실행할 수 있었던 비결은, 장치 기능(device capabilities)을 반환하도록 rtGetDevMsg를 구현하는 스텁(stub)을 작성할 수 있다는 점을 깨달은 것이었습니다 (기본적으로 카드로부터 응답을 가짜로 만드는 것입니다). 이는 장치에서 torch_npu가 제대로 작동하도록 하는 데 필요합니다. 이를 통해 마침내 이 장치에서 vLLM을 사용할 수 있게 되었고, 실제로 유용하게 만들 수 있었습니다. /u/StillVeterinarian578에 의해 게시됨 [link] [comments]