로컬 AI 워크스테이션에서 모델 스와핑을 자동화하는 VRAM 스케줄러(vramble)를 구축하다

저는 다양한 모델과 도구를 사용하여 로컬 AI 실험 전용 워크스테이션을 구축했습니다. 하지만 이 모든 것들이 사용 가능한 모든 VRAM을 필요로 합니다. 이를 해결하기 위해, 저는 vramble이라는 요청 디스패칭 레이어를 만들었습니다. 이것은 우선순위 시스템을 사용하여 모델을 자동으로 로드하고 언로드하며 큐를 관리합니다. 이제 수동으로 모델을 관리하거나 (프로세스를 조정하는 데 Claude 토큰을 낭비할 필요 없이) 다양한 워크플로우를 실행할 수 있습니다. 어떤 기여든 환영합니다. 저에게는 작동하지만, 새로운 빌드이므로 모든 장치에서 직접 작동한다고 보장할 수는 없습니다. 참고로: Qwen 27B가 200 t/s 이상으로 예상보다 훨씬 좋은 성능을 보여주고 있습니다. opeMIT 라이선스이며, GitHub에서 이용 가능합니다: github.com/ValerioDolci/vramble /u/FeydRowan 제출 [link] [comments]