어떻게 하면 단일 16GB GPU에서 OOM (Out of Memory) 충돌 없이 무거운 멀티모달 LLM (Multimodal LLMs), VLM (VLMs), 그리고 Whisper 모델들을 동시에 실행할 수 있을까요?

우리의 오픈 소스 프로젝트인 GoodQ4All에서, 우리는 PyTorch와 nvidia-smi를 통해 시스템 VRAM (Video RAM)을 감사(audit)하고, 엄격한 예산 프로필(budget profiles)에 따라 사전 점검(preflight checks)을 수행하며, 상주 중인 모델을 자동으로 언로드(unload)하는 Python 기반의 ModelLifecycleManager 컨텍스트 매니저(context manager)를 구축했습니다.

단계별 아키텍처는 다음과 같습니다: https://github.com/GoodQ02/goodq4all