Live-Swap CUDA 워크로드 관리: llama.cpp, ComfyUI, Strata 및 기타 기능

요약

Berth는 Go 언어로 작성된 경량 GPU 자원 관리자로, 여러 애플리케이션이 VRAM을 충돌 없이 공유하도록 돕습니다. 리스(leases) 및 우선순위 기반의 자동 스케줄링 기능을 통해 AI 모델, 이미지 생성 등 다양한 워크로드를 효율적으로 관리합니다. 또한, 빠른 모델 전환과 멀티-GPU 지원, VM 패스스루 기능까지 제공하는 통합 게이트웨이 역할을 합니다.

핵심 포인트

• VRAM 경쟁을 방지하며 GPU 자원을 리스 및 큐를 통해 체계적으로 관리합니다.
• 자동 스케줄링과 빠른 모델 전환 기능을 지원하여 엔진 간의 효율적인 워크플로우가 가능합니다.
• ComfyUI 통합 API와 Claude Code, Codex 등 에이전트 도구와의 연동을 제공합니다.
• 멀티-GPU 독립 관리 및 VFIO를 통한 VM 패스스루 기능까지 갖추고 있습니다.