GPU 과열을 탓하기 전에: 실패한 AI 작업에 대한 증거 체크리스트

ThermaCompute AI는 AI 인프라 팀이 GPU 장애 및 성능 저하를 이해하는 데 도움을 주기 위한 진단 도구를 구축하고 있습니다. 현재 저희의 초점은 수동 조사입니다. 즉, 운영자가 테스트할 수 있는 유용한 증거와 권장 사항에 중점을 두고 있습니다.

최종 타임아웃(final timeout)이 주의가 필요한 초기 오류를 숨길 수 있습니다. 실패한 작업을 재시작하기 전에 이 체크리스트를 따라 진행하는 것이 좋습니다.

1. 순서 재구성 (Reconstruct the sequence)

작업, 워커 또는 랭크(rank), 타임스탬프 및 소스 로그를 기록합니다. 콜렉티브 타임아웃(collective timeout) 이전에 워커 오류가 발생했는지 확인하십시오. 시간적 순서는 조사할 단서일 뿐, 한 이벤트가 다른 이벤트를 유발했다는 증거는 아닙니다.

2. 온도와 스로틀링 분리 (Separate temperature from throttling)

단순히 온도 측정값만으로는 열 스로틀링(thermal throttling)을 입증할 수 없습니다. 동일한 시간 창에서 지원되는 스로틀 이유(throttle-reason) 원격 측정 데이터, 클럭 변경 및 워크로드 처리량(workload throughput)을 확인하십시오. 전력 제한(Power limiting), 메모리 압력(memory pressure) 및 통신 실패는 별도로 고려해야 합니다. 누락된 원격 측정 데이터는 명시적인 미지수로 남아 있어야 합니다.

3. 다음 점검 사항 재현 가능하게 만들기 (Make the next check reproducible)

유용한 보고서는 원본 증거 라인, 일치한 규칙(rule), 해당 발견이 입증하지 못하는 것, 그리고 구체적인 다음 점검 사항을 포함해야 합니다. 측정된 기준선(measured baseline)과 명시된 비용 가정을 없이 로그 매칭을 정확한 금전적 손실 추정치로 변환하는 것을 피하십시오.

CrashLens 무료 예제 사용해 보기

저희는 저장된 로그를 집중적인 조사로 전환하기 위해 CrashLens를 만들었습니다. 이는 지원되는 OOM, NCCL 및 NVIDIA Xid 패턴에 대한 초기 오픈 소스 CLI(Command Line Interface)이며, 증거 라인과 제안된 점검 사항을 제공합니다. 이 도구는 GPU를 제어하거나 근본 원인을 확립하지 않습니다.

합성 데모에는 Python 3.10 이상, GPU 또는 계정 필요 없음, 로그 업로드 불필요:

git clone https://github.com/rohitcn-hub/thermacompute-crashlens.git
cd thermacompute-crashlens
python crashlens.py examples/synthetic.log --out demo-report

브라우저에서 demo-report/report.html을 엽니다. 이미 존재하는 경우 새로운 출력 디렉터리를 선택하세요. 설치하기 전에 합성 보고서 미리보기를 확인해 보세요.

GPU 운영자용: 이 보고서가 유용한 다음 점검 사항을 알려주었나요? 테스트하기 전에 어떤 증거가 부족할까요? 사적인 프로덕션 로그는 게시하지 마세요.

선택적 범위 검토 (Optional scoped review)

ThermaCompute는 적절한 NVML/vLLM 원격 측정(telemetry)을 갖춘 팀을 대상으로 **800달러의 임원급 열 아키텍처 감사(Executive Thermal Architecture Audit)**를 제공합니다. 저희는 하나의 워크로드/코호트와 시간 창을 합의하고, 지원되는 발견 사항, 제한 사항 및 테스트를 위한 우선순위 권장 사항이 담긴 PDF를 전달합니다. 데이터 처리 및 범위는 전송 전에 합의되며, 절감액이나 포괄적인 오류 감지는 보장되지 않습니다. 적합성을 논의하려면 **[email protected]**으로 “Executive audit”와 함께 이메일을 보내주세요. CrashLens는 여전히 무료입니다.

공개 고지: 저는 ThermaCompute의 설립자이며 CrashLens를 유지 관리합니다. 본 기사는 AI 지원을 받아 작성되었습니다.