가이드: 단일 GPU에 LM Studio와 ComfyUI를 OpenWebUI로 함께 사용하기

안녕하세요 여러분,

저는 하나의 AI 서버에 ComfyUI와 LM Studio를 모두 호스팅하는 방법을 알아냈습니다. 설정이 다소 까다로웠지만, 이 성과를 달성하는 빠르고 간단한 가이드를 공유합니다:

1. 동일 시스템에 ComfyUI와 LM Studio를 모두 설치하세요.
2. VRAM 클린업 노드(VRAM clean up node)를 ComfyUI에 설치하고, OpenWebUI에서 사용할 워크플로우에 포함되어 있는지 확인하세요 (이것은 매우 중요합니다).
3. LM Studio에서 서버 기능을 활성화하고 필요한 설정들을 지정하세요 (예: 로컬 네트워크에서 서버할지 여부 등).
4. LM Studio의 설정(Settings)으로 이동하여 'Limit Model offload to Dedicated GPU Memory' 토글을 켜세요.
5. OpenWebUI가 ComfyUI와 LM Studio 모두와 통신하는 데 필요한 연결 및 설정을 구성하세요.
6. 테스트를 진행하고 위 방법이 작동하는지 확인하세요. 만약 작동하지 않는다면, 워크플로우가 이미지 출력 전에 모델을 올바르게 언로드(unloads)하는지 확인하세요. 또한, LM Studio 설정에서 KV 캐시(KV cache) 토글을 끄는 것도 고려해 볼 수 있습니다.

이것이 여러분에게 도움이 되었는지 알려주세요. 제가 무언가를 놓쳤을 수도 있지만, 이 방법은 Geforce 5060ti 16GB GPU, DDR4 64GB, 2tb NVMe SSD, Ryzen 5700G를 탑재하고 Bazzite Linux와 Nvidia 드라이버로 구동되는 제 서버에서 작동했습니다. 다른 분들께 도움이 되기를 바랍니다.
제출자 /u/technofox01
[링크] [댓글]