엔진들이 순차적으로 작동한다면 24GB로 충분합니다

요약

이 글은 여러 AI 엔진(llama, comfyUI 등)을 하나의 GPU에서 충돌 없이 순차적으로 로드하고 전환할 수 있는 시스템 서비스 'Berth'를 소개합니다. 사용자가 원하는 시점에 필요한 기능을 감지하여 VRAM을 할당하고 점유자를 관리함으로써, 각 엔진 간의 네이티브한 전환과 자원 관리를 가능하게 합니다.

핵심 포인트

• 여러 AI 엔진을 하나의 GPU에서 충돌 없이 순차적으로 실행할 수 있습니다.
• VRAM 점유 문제를 해결하여 메모리 할당 및 관리가 효율적입니다.
• Berth는 API 엔드포인트를 제공하여 다른 사용자 지정 엔진과 연동이 용이합니다.
• 게임이나 워크플로우 중에도 GPU 자원 점유에 대한 걱정을 덜어줍니다.