원문은 AI Tech Connect에 게시되었습니다.

이 숫자가 실제로 의미하는 것 VentureBeat는 모든 AI 예산 책임자들을 움찔하게 만들 만한 헤드라인을 작성했습니다: "5%의 GPU 활용률: 기업들이 계속해서 무시할 수 없는 4,010억 달러 규모의 AI 인프라 문제." 실제 감사(audit)에서 도출된 이 주장에 따르면, 평균적인 기업의 GPU 플릿(fleet)은 약 5%의 활용률(utilisation)로 작동하고 있습니다. 반면, AI 인프라는 올해 약 4,010억 달러에 달하는 새로운 지출을 추가하고 있으며, VentureBeat는 이 수치를 Gartner의 자료로 인용했습니다. 이 두 숫자를 나란히 놓고 보면 그 함의는 잔혹합니다. 만약 활용률이 정말로 평균 5%라면, 여러분이 지불하는 GPU 1파운드 또는 1루피당, 실리콘(silicon)은 수명의 약 19/20를 아무것도 하지 않은 채 보낸다는 뜻입니다. 이것은 단순한 반올림 오차가 아닙니다. 이것은 현재 AI 분야에서 가장 큰 숨겨진 비용이며, 모델 라이선스(model licences)보다 크고, 그 무엇보다도...

AI Tech Connect에서 전체 기사 읽기 →