vllm-doctor — vLLM 추론 서버를 진단하고 모니터링하는 CLI 도구

요약

vllm-doctor는 vLLM 추론 서버의 메트릭을 분석하여 문제를 진단하는 CLI 도구입니다. 큐 압력, TTFT/TPOT, KV 캐시 상태 등을 규칙 기반으로 체크하여 원인과 권장 사항을 제공합니다.

핵심 포인트

• vLLM 메트릭 기반의 규칙 기반 진단 기능 제공
• 큐 압력 및 KV 캐시 압력 등 주요 지표 감지
• 텍스트 및 JSON 형식의 출력 지원
• --watch 모드를 통한 실시간 모니터링 가능