RX 580 8GB에서 OpenAI 호환 API를 통해 6개의 LLM + SD 3.5 + Whisper 구동하기 - ROCm이 포기한 카드
요약
오래된 GPU인 RX 580을 Vulkan/ROCm 환경에서 활용하여 OpenAI 호환 API를 통해 여러 LLM과 SD 3.5, Whisper 모델을 구동하는 방법을 소개합니다. Mesa의 RADV 위에서 전체 스택이 실행되며, 이를 통해 저사양 하드웨어에서도 다양한 AI 기능을 구현할 수 있음을 보여줍니다.
핵심 포인트
- RX 580과 같은 구형 GPU도 Vulkan/ROCm 환경으로 활용 가능합니다.
- OpenAI 호환 API를 사용하여 여러 LLM을 통합 관리할 수 있습니다.
- SD 3.5, Whisper 등 다양한 모델을 하나의 스택에서 구동하는 방법을 제시합니다.
ROCm은 Polaris(폴라리스) 출시된 지 오래되어, 모든 RX 580 소유자들은 새 카드를 사라고 듣게 됩니다. 저는 대신 Vulkan 경로를 선택했습니다: 전체 스택이 Mesa의 RADV 위에서 실행됩니다. 무엇을 구동하는지 (하나의 Debian LXC, 하나의 설정 스크립트): - OpenAI 호환 라우터, 하나의 API 키, 모델을 온디맨드로 교체 - qwen2.5-coder 1.5B/7B, qwen2.5-7B, ornith-1.5-9B, qwen3-30B-A3B, qwen2.5-VL-3B - 이미지: SD 3.5 Medium + stable-diffusion.cpp를 통한 SD 1.5, Whisper medium - 또한 MCP 도구를 가진 에이전트 클라이언트를 위한 추론 백엔드 측정 결과, Ryzen 5 5600G / 32 GB RAM / RX 580 2048SP, 온도 0, max_tokens 300:
| Model | tok/s | warm | cold (after swap) |
|---|---|---|---|
| qwe |
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기