Ling 3.1 Flash (560B MoE)를 4개의 DGX Sparks에 로드한 내용

게시글 작성자가 Ling 3.1 Flash를 네 개의 DGX Sparks에 로드했다고 올렸습니다. 이 모델은 560B의 MoE(Mixture of Experts) 구조이며, 토큰당 25B의 활성 파라미터를 가지고 있습니다. 그는 이전의 Ling 모델들을 즐겨 사용했고 이번 모델도 테스트하고 싶었지만, 시도하려던 설정으로는 자신의 두 개의 Sparks에 모두 올릴 수 없었습니다. 독일의 누군가가 그에게 네 개 스파크(Spark) 설정을 사용할 기회를 주었습니다. 그는 Atomic Chat의 day-one Q4 GGUF를 사용하며, 이를 llama.cpp RPC를 통해 네 대의 모든 머신에 분산하여 사용하고 있습니다. 그의 게시글에 따르면, 당시 vLLM용 공식 FP4 빌드가 없었기 때문에 이 방법을 선택한 것이라고 합니다. 스크린샷에는 아직 성능 수치가 없습니다. 그는 대역폭(bandwidth)과 속도가 어려울 것으로 예상하지만, 124B Ling 3.0 Flash와 비교하여 어떤지 보고 싶어 합니다. 저 역시 관심 있는 부분은 다음과 같습니다: 더 큰 모델이 답변 품질을 얼마나 변화시키는지, 그리고 실제 사용 시 대기 시간이 어떻게 되는지입니다. 팔로우하는 분들을 위한 링크는 다음과 같습니다: Atomic Chat의 Ling 3.1 Flash GGUF 저장소, llama.cpp 공식 Ling 3.1 Flash 모델은 /u/BerryBlush_Rogers691가 제출했습니다. [링크] [댓글]