GPU 하드웨어 회로 (GPU Hardware Circuitry)
MLOps를 위한 GPU 인프라 모니터링: 필수 nvidia-smi 명령어 및 메트릭
대규모 AI 워크로드를 실행할 때, 메모리 누수 (memory leaks), 서멀 스로틀링 (thermal throttling), 그리고 제어되지 않는 PyTorch 프로세스는 예고 없이 추론 노드 (inference nodes)를 다운시킬 수 있습니다. AI 인프라를 관리하는 시스템 관리자는 GPU VRAM 사용률, 전력 소모, 그리고 프로세스 소유권에 대한 실시간 가시성이 필요합니다.

1. 고급 nvidia-smi 쿼리 명령어 (Advanced nvidia-smi Query Commands): 표준 nvidia-smi를 실행하는 대신, 커스텀 로그 모니터 또는 자동화된 스크립트를 위해 구조화된 CSV 데이터를 추출하십시오:

2초마다 GPU VRAM 사용량, 온도, 전력 소비 스트리밍

nvidia-smi --query-gpu=timestamp,name,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.free --format=csv -l 2

1. 특정 GPU 프로세스 소유자 식별 (Identifying Specific GPU Process Owners): 멀티 테넌트 (multi-tenant) 서버에서 어떤 Python 또는 Docker 컨테이너가 GPU VRAM을 소비하고 있는지 식별하려면:

프로세스 ID (PIDs)와 함께 모든 활성 GPU 컴퓨팅 프로세스 목록 표시

nvidia-smi pmon -s u -v
제어되지 않는 프로세스의 PID를 찾았다면, 해당 프로세스의 systemd 부모 유닛 (parent unit) 또는 Docker 컨테이너를 조사하십시오:

PID별 프로세스 상세 정보 조사

ps -up [PID]

연관된 Docker 컨테이너 ID 찾기

cat /proc/[PID]/cgroup | grep docker

1. 안정성을 위한 GPU 전력 제한 설정 (Setting GPU Power Limits for Stability): 갑작스러운 LLM 배치 추론 (batch inference) 스파이크 중에 서버 전원 공급 장치가 차단되는 것을 방지하려면, GPU 카드당 허용되는 최대 와트 (wattage)를 제한하십시오:

재부팅 시에도 지속성 모드 (persistence mode) 활성화

sudo nvidia-smi -pm 1

최대 GPU 전력 제한을 250 Watts로 제한 (예: NVIDIA RTX 3090 / A4000용)

sudo nvidia-smi -pl 250

(https://infrascaleai.blogspot.com/)