Originally published on AI Tech Connect.

어떤 것을 알아야 하는가 서버리스 GPU 플랫폼은 모든 AI 팀이 이미 이해하고 있는 두 가지 옵션 사이의 계층에 위치합니다. 그 아래에는 관리형 모델 API(managed model APIs)가 있습니다. 여기서는 다른 사람이 실행하는 모델의 토큰을 구매하며, 사용자가 변경할 수 없습니다. 그 위에는 자체 호스팅 인프라(self-hosted infrastructure)가 있습니다. 이는 사용자 자신의 GPU 노드, 자체 서빙 스택, 자체 자동 확장기(autoscaler), 그리고 제품을 아무도 사용하지 않아도 청구서가 도착하는 것을 의미합니다. 서버리스 계층은 이 차이를 절반으로 나눕니다: 사용자가 자신만의 모델과 컨테이너를 가져오고, 플랫폼이 GPU를 제공하며, 요청이 도착할 때 워크로드를 실행하고, 초 또는 분 단위로 비용을 청구하며, 트래픽이 줄어들면 0으로 다시 축소합니다. 이 중간 계층은 세 가지 상황에서 승리합니다. 첫째, 급증하거나 예측 불가능한 트래픽입니다. 인도 점심시간과 영국…