Project Maya를 통해 GLM5.3 Flash 모델을 개인 GPU에서 구동하는 방법

원문 발행 2026. 10. 12. 03:42원문 언어 영어AI 한국어 번역Reddit AI Engineering 원문 보기

요약

Project Maya는 사용자의 개인 GPU 환경에서 대규모 AI 모델인 GLM-5.3-Flash를 구동할 수 있게 해주는 도구입니다. 이 엔진은 3,210억 개의 매개변수를 가진 모델을 최적화된 방식으로 로드하여 높은 속도와 정확도를 제공합니다. NVIDIA 및 AMD GPU 환경에서 빠르고 사적인 AI 경험을 가능하게 합니다.

핵심 포인트

Project Maya를 통해 GLM-5.3-Flash를 개인 GPU에서 구동할 수 있습니다.
최대 16개 GPU 지원, NVIDIA/AMD 환경에 최적화되어 있습니다.
모델의 정확도를 유지하면서 속도와 효율성을 극대화했습니다.
OpenAI 및 Anthropic과 호환되는 API 기능을 제공합니다.

저는 현재 glm5.3 flash가 초당 약 10 토큰(tok/s)만 나와서 거의 사용할 수 없는 상태였는데, 이걸 우연히 발견하게 되었습니다. Project Maya를 사용하니 이제는 초당 30 토큰이 나옵니다. 아직 테스트 중이지만, 이 낮은 양자화(low quant) 버전임에도 불구하고 GLM5.3은 지금까지 Qwen 3.8 flash보다 훨씬 더 만족스러운 모델인 것 같습니다. 매우 흥미롭습니다. 많은 사람들이 GLM5.3 flash를 구동할 수 있게 해준다는 점에서 기대가 됩니다. https://github.com/mw00/project-maya Project Maya는 사용자의 자체 GPU에서 3,210억 개의 매개변수(parameter) AI 모델인 GLM-5.3-Flash를 구동합니다. 사설적이고 빠르며 · NVIDIA GPU 또는 최대 16개 지원 · AMD 및 Windows (실험적) · 채팅, 이미지 생성, OpenAI 및 Anthropic과 호환되는 API 모델 이 정도 크기의 모델은 보통 데이터센터가 필요합니다. Maya는 사용자가 이미 가지고 있는 하드웨어에서 GLM5.3-Flash(zai-org, MIT 라이선스)를 구동합니다: 3,210억 개의 매개변수, 토큰당 약 180억 개의 활성 매개변수, 최대 1백만 토큰의 컨텍스트 창을 가집니다. 이 엔진은 오직 이 하나의 모델만을 위해 구축되었습니다. 사용자의 대화에서 가장 많이 사용하는 전문가(experts)는 GPU에, 다음 전문가들은 RAM에, 그리고 나머지는 NVMe SSD에 보관하며 채팅하는 동안 이동시킵니다. 또한 사용자의 GPU, CPU, RAM 및 SSD를 측정하여 그에 맞게 최적화합니다. 아무것도 외부로 나가지 않습니다. 빠르기: 네 개의 RTX 4090에서 최대 초당 118 토큰, 단일 RTX 5090에서 30 토큰 이상을 달성했습니다. 아래는 실제 사용자들이 제출한 실제 수치입니다. 원본에 근접함: Maya 자체의 양자화(quants)는 FP8 모델의 제로샷 정확도(zero-shot accuracy) 중 97.7%~99.2%를 유지합니다. 도구 연동성: 툴 호출(tool calls) 기능을 갖춘 OpenAI 및 Anthropic 호환 API가 제공되어 코딩 에이전트 준비가 완료되었습니다. 모든 것을 한 번에: 브라우저에서 채팅 기능과 실시간 모니터, 이미지 생성, 사고 수준(thinking levels), 원클릭 설정까지 모두 포함하고 있습니다. /u/inthesearchof 님이 제출했습니다. [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기