적응형 스트리밍 최적화기: 모든 장치, OS, 하드웨어에서 모든 Big MoE 모델 실행 (로컬 OpenAI 호환 서버). Android

저는 사람들이 이미 소유하고 있는 저렴한 소비자 등급 하드웨어(스마트폰, 노트북, 일반 데스크톱)에서 대규모 MoE 모델을 실행하여 AI의 접근성을 높이는 작업을 진행하고 있습니다. RAM보다 몇 배나 큰 모델도 별도의 고성능 GPU가 필요하지 않습니다. 공개합니다: 저는 BigMoeOnEdge의 저자입니다. 아래 모든 수치는 제가 직접 또는 기여자들의 장치에서 동일한 엔진으로 실제로 구동된 결과입니다. 제 비전은 llama.cpp 위에 스트리밍 MoE 모델을 위한 계층(layer) 역할을 하는 것입니다. 저는 사용 중인 하드웨어, OS, CPU, GPU 및 NPU에 맞춰 특별히 설계된 '적응형 스트리밍 플래너(adaptive streaming Planner)' 개념을 개발했습니다. 이 알고리즘은 환경을 평가하여 다음 목표를 달성하기 위한 최적의 리소스 할당을 결정합니다: prefill 및 디코딩 속도 극대화, 그리고 운영 체제를 과부하 상태로 만들지 않으면서 메모리 관리 최적화. 또한, OpenAI 호환 서버는 소비자 등급 하드웨어에서 로컬 AI 사용을 가능하게 합니다. 저는 개인적으로 이를 OpenCode와 함께 사용하여 Android에서 먼저 실행했고, 이후 Mac에서도 사용했습니다.

플래너만으로 달성한 성능 (16 GB Mac, Qwen3.6-35B-A3B Q4_K_M)
이전 대비 --auto (Planner Decode 7 tok/s / 25-30 tok/s / 2000 토큰 프롬프트에 대해 CPU에서 21초, GPU에서 3.4초)

장치별 성능 - llama.cpp가 지원하는 모든 MoE gguf 및 양자화 모델 실행 가능

이것에 대한 여러분의 의견과 유용성에 대해 듣고 싶습니다. llama.cpp에 통합하기 위해 PR을 열어볼까 생각하고 있지만, 이것이 그들의 프로젝트 목표와 일치하는지 확신하지 못합니다.
submitted by /u/dai_app to r/LocalLLaMA [link] [comments]