
Qwen3.8 27b를 기다리는 동안 시간을 보내기 위해 - 오래된 픽셀 아트 디스플레이로 vLLM Ray 클러스터 대시보드 구축
요약
사용자가 GLM 5.2 에이전트를 활용하여 오래된 픽셀 아트 디스플레이를 vLLM Ray 클러스터의 GPU 모니터링 대시보드로 재활용하는 프로젝트를 소개합니다. 에이전트가 Python 코드를 작성하여 GPU 온도, 사용률, 토큰 생성 정보를 픽셀 디스플레이에 시각화하도록 구현했습니다.
핵심 포인트
- GLM 5.2 에이전트를 사용하여 20분 만에 모니터링 앱 구축
- vLLM Ray 클러스터 및 RTX A6000 GPU 상태 실시간 시각화
- Divoom Pixoo-max 픽셀 디스플레이를 블루투스로 연결하여 활용
- Ray Dashboard API 및 vLLM metrics 엔드포인트 활용
제 아이가 더 이상 사용하지 않는 오래된 픽셀 아트 디스플레이(Divoom 32x32 Pixoo-max)를 가지고 있어서, 이를 GPU 클러스터 상태 모니터로 재활용하면 재미있을 것 같다는 생각이 들었습니다. 이를 통해 제 vLLM Ray 클러스터(현재 Qwen3.5 122b 실행 중)에 있는 3대의 RTX A6000에 대한 GPU 온도 / 사용률 / 토큰 생성 정보 등을 확인할 수 있습니다. 저는 제 Hermes Agent(에이전트 모델로 GLM 5.2 사용)를 실행하고 다음과 같이 말했습니다: “<내 Dell GB10의 컴퓨터 이름>에서 실행되며, 블루투스로 연결 가능한 32x32 픽셀 Divoom Pixoo-max 디스플레이에 GPU 클러스터 상태 데이터를 표시하는 애플리케이션을 구축해 주길 바랍니다. 픽셀 디스플레이와 연결 방법에 대해 배우려면 다음 저장소(repos)를 읽어보는 것이 좋을 것입니다: - https://github.com/SomethingWithComputers/pixoo - https://github.com/cyanheads/pixoo-toolkit - https://divoom.com/products/divoom-pixoo-max 이 앱은 내 vLLM Ray 클러스터에 있는 3개 시스템의 시스템 상태 데이터를 읽기 쉽고 이해하기 쉬운 방식으로 표시해야 합니다. 또한 Dell GB10(네트워크 세그먼트에는 있지만 클러스터에는 포함되지 않음)에 대한 유사한 데이터도 보여줘야 합니다. 이는 화면에 “S1”과 같은 클러스터 시스템의 이니셜을 보여주는 4개의 박스를 표시하고, GPU 온도를 나타내는 배경색(뜨거우면 빨간색, 정상일 경우 초록색 등)을 갖는 것처럼 간단하게 구현될 수 있습니다. 32x32 화면 크기 제한으로 인해 많은 정보를 표시하기 어려우므로 표시 방식에 창의력을 발휘해야 하며, 4초 간격으로 서로 다른 지표를 가진 여러 화면을 순환하며 보여줄 수도 있습니다.” 관심 있는 분들을 위한 하드웨어(HW) 정보:
- Qwen3.5 122b를 호스팅 중인 RTX A6000 GPU(64GB RAM)가 각각 장착된 3x Dell Precision 7960 워크스테이션
- 1x Dell Pro Max GB10 (Ray vLLM 클러스터의 일부는 아니지만, 디스플레이로 전송되는 앱을 실행할 뿐만 아니라 다른 모델을 위한 보조 LLM 엔드포인트도 실행함. GB10에는 Divoom에 연결하는 데 사용되는 블루투스 라디오가 내장되어 있습니다. Dell 타워에는 블루투스가 없기 때문에 GB10을 사용했습니다.)
- Divoom Pixoo-max 32x32 픽셀 디스플레이.
그들은 64x64 픽셀 버전도 제작합니다. 제가 몇 년 전에 구매했을 때는 약 60달러 정도였습니다. GLM 5.2가 이것을 구축하는 데 약 20분 정도 걸렸고, 제가 원하는 대로 설정하는 데 약 5분 정도 더 소요되었습니다. 완벽하지는 않지만, 로그인하지 않고도 클러스터(cluster)를 시각적으로 훑어보며 무엇이 일어나고 있는지 확인할 수 있다는 점이 멋집니다. 그리고 이미 중고 상점에 버려질 수도 있었던 픽셀 디스플레이를 가지고 있었기 때문에 실제로 비용이 전혀 들지 않았습니다. 참고로, Hermes / GLM이 Ray Dashboard API, vLLM metrics endpoint, 그리고 ssh를 통한 Nvidia-smi 호출에 이르기까지 모든 과정을 Python으로 수행했습니다. /u/Porespellar 제출 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기