로컬 LLM 서빙 박스를 위한 단일 파일, 의존성 없는 라이브 대시보드입니다. llama.cpp와 vLLM의 GPU 활용률, 모델별 처리량(throughput), KV/컨텍스트 채움 정도(context fill), 시스템 통계 등을 하나의 녹색 터미널 스타일 페이지에 담았습니다. 프레임워크도 없고, 빌드 단계도 없으며, 외부 요청도 필요 없습니다. 프론트엔드는 index.html 하나로 구성되어 (file://에서 열림); 백엔드는 nvidia-smi를 읽고 각 서버의 Prometheus /metrics를 읽는 stdlib Python 파일입니다. https://github.com/NHClimber87/llm-serve-dashboard

무엇을 보여주는가:

• GPU: 카드별 활용률, VRAM, 전력(power), 온도(temperature), 클럭 속도(clocks) 및 각 카드에서 실제 컴퓨팅 작업 부하(compute tenants)를 보여줍니다 (nvidia-smi --query-compute-apps에서 가져옴. 따라서 카드는 VRAM 추측이 아닌 실제 근거에 따라 레이블링됩니다).
• 주요 워커: 초당 디코딩 및 프리필 토큰 수, 요청 횟수, 컨텍스트/KV 채움 정도, LoRA 어댑터 정보.
• 호환성: llama.cpp (/metrics + /props)와 vLLM (/metrics + /v1/models) 모두에서 작동합니다. 워커 포트는 리스닝 소켓에서 자동 감지되므로, 모델을 다른 포트로 옮기는 벤치마크나 스왑 작업도 대시보드에 표시됩니다.
• 보조 서버: 추가적인 CPU/GPU llama-서버를 실행할 경우 선택적으로 제공되는 카드 행입니다 (원하는 모든 엔드포인트에 연결 가능 — 작은 CPU 모델, 두 번째 박스 등).
• 설정: SECONDARY_SERVERS로 구성합니다.
• 시스템: CPU, RAM, 부하(load), 네트워크, 디스크 정보를 보여줍니다.
• 모델 라이브러리: JSON 레지스트리를 편집하여 구동하는 로드 가능한 모델의 양자화(quant), 컨텍스트 길이(ctx), 측정된 처리량 등을 볼 수 있는 탐색 가능한 인벤토리입니다.
• 추론 탭 (선택 사항): 모델의 추론 과정/CoT(Chain of Thought) 패널을 실시간으로 보여줍니다. 만약 모델의 reasoning_content를 로그로 전송한다면 (아래 THOUGHT_LOG 참조), 이 기능이 활성화됩니다. 기본적으로는 비활성화되어 있습니다.

현재 작업 중인 프로젝트이지만, 다른 게시물에서 많은 분들이 이 대시보드를 요청하셨기 때문에 한번 사용해 보시고 질문이나 요청사항은 최선을 다해 답변드리겠습니다. 이는 제가 관측 가능성(observability)을 높이는 데 정말 도움이 됩니다. 특히 모델이 생각의 사슬(chain of thought)을 보여주는 추론 탭에 매우 만족합니다.

제출자: /u/Important_Quote_1180 [link] [comments]