BlackBeard의 함대 소개
요약
BlackBeard가 운영 중인 개인용 AI 홈랩(homelab)의 전체 하드웨어 구성과 사양을 소개합니다. 다양한 CPU와 GPU 조합을 통해 모델 아카이빙부터 고성능 모델 실행까지 목적별로 구축된 5대의 서버 시스템을 설명합니다.
핵심 포인트
- 모델 아카이빙을 위한 NAS 시스템 구축
- 35b 모델 실행을 위한 중급 사양 서버 운영
- RTX 5090 기반의 고성능 메인 서버 및 다중 GPU 확장을 고려한 시스템 구성
- 4 x 3090을 탑재한 Threadripper 기반의 고사양 서버 구축 진행 중
- 모든 시스템은 Linux Mint 22 환경에서 운영됨
현재 제 웹사이트가 다운된 상태입니다, 죄송합니다.
제 현재 전체 AI 홈랩 (homelab) 설정은 다음과 같습니다:
#0 i3 7100, 32gb ddr4, 2x8tb archive nas (모델들을 여기에 아카이빙하고 있습니다. 필요하다면 다시 다운로드할 필요 없이 samba nas를 통해 서빙할 수 있습니다.)
#1 ryzen 5600, 64gb ddr4, gtx1070 (Privateer, 35b a3b 모델을 실행할 때 놀라울 정도로 빠르게 작동합니다.)
#2 ryzen 5950x, 128gb ddr4, rtx5060ti, strix x570f, Asus TUF gt502 (Manowar, 문제없이 2x5060ti까지 확장 가능합니다. 2x3090으로 시도해 보았으나 과열되었습니다.)
#3 ryzen 9950x3d, 256gb d5, rtx5090, gigabyte ai top b850, corsair air5400 (Capt.'s ship. 여기에 3090을 하나 더 추가할 수 있습니다. 시도해 보았는데 잘 작동합니다.)
#4 threadripper 1950x, 128gb ddr4, 4 x 3090, gigabyte designare x399 (the Kraken!, -아직 구축 중이며, 라이저 (riser) 카드가 도착하기를 기다리고 있습니다.)
이 모든 장비는... Linux Mint 22에서 실행 중입니다. 나중에 아마도 이 모든 것들을 펜타그램 (pentagram) 형태로 연결하여 데몬로드 (demonlord)를 소환할 수 있도록 10gbE 카드들을 구매할 예정입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기