회사용 4x 6000 Pro 구성

제가 로컬 AI 서비스를 이용해 40명(개발자 10명 포함)에게 제공하는 방식입니다. n8n을 자동화 도구로 사용하며, Whisper와 Vexa AI라는 봇이 Teams에 참여하여 녹취록을 작성합니다. 이후 n8n이 결정 사항과 할 일 목록을 추출하고, OpenWebUI는 모두를 위한 ChatGPT 같은 웹 인터페이스 역할을 합니다. 대부분의 에이전트 기능은 비활성화되어 있으며, Tavily를 통한 웹 검색이 가능합니다. 모든 개발자는 BiFrost(OpenAI 호환 API 라우터)를 통해 유용한 기능을 사용할 수 있는 API 키를 받습니다. 또한 모든 개발자에게는 에이전트를 설치할 수 있는 로컬 Linux VM이 제공됩니다. 이 서버는 4개의 6000 Blackwell MaxQ, 384GB DDR5 메모리, 그리고 AMD EPYC 9275F 24코어 CPU를 갖춘 4U 서버입니다. 서버는 Proxmox로 구동되며, 모든 모델이나 애플리케이션은 Cuda 13.3과 Debian 13, Driver 595가 설치된 LXC 내부에서 실행됩니다. 메인 모델은 vLLM을 사용하는 Deepseek V4 Flash이며, GPU 활용도는 0.55이고 TP4, 1M 컨텍스트를 지원합니다. 폴백(fallback) 모델은 llama.cpp를 사용한 Qwen 3.8 27B Q8로, 265K 컨텍스트를 Q8 형식으로 처리합니다. 미니 모델은 llama.cpp를 사용하는 K2-Horizon 7B Q6이며, 64K 컨텍스트를 Q8 형식으로 지원합니다. ComfyUI는 마케팅용 이미지와 비디오를 생성하는 데 사용됩니다. 임베딩/재순위화(Reranking)는 Geofront/BGE-M3-GGUF:BF16과 sinjab/bge-reranker-v2-m3-F16-GGUF를 llama.cpp로 사용하여 수행합니다. 서버의 전체 비용은 약 55k€였습니다. 두 개의 6000 Blackwell MaxQ가 장착된 백업 서버 구축을 계획 중입니다 [https://preview.redd.it/eribrlg7z8vh1.png?width=1913&format=png&auto=webp&s=33c7044412273dec45e9c251c879d4b2a1dd6e53] 질문이 있으시면 문의해 주세요. /u/q-admin007 작성