AI 작업은 싸졌는데 GPU 임대료는 왜 오를까? | 구글·MS·AWS 실적으로 살펴본 처리 효율, AI가 더 많이 쓰이면 한국 메모리도 바로

Video: AI 작업은 싸졌는데 GPU 임대료는 왜 오를까? | 구글·MS·AWS 실적으로 살펴본 처리 효율, AI가 더 많이 쓰이면 한국 메모리도 바로 늘어날까?
Channel: 안될공학 - IT 테크 신기술
Duration: 15m 28s
Source: subtitle (auto, ko)
Transcript:
네, 여러분 안녕하세요. 패치입니다. 여러분, 일부 AI 작업에 이용 요금은 내려가는데요. 정작 그 AI를 돌릴 GPU를 빌리는 값이 올라가는 곳들이 있습니다. AI 서비스도 결국은 연산 장비로 돌리는 건데 왜 서비스 요금이랑 장비 임대료는 서로 다른 방향으로 움직이는 걸까요? 이거는 두 가격이 뭐에 매겨지는지부터 구분을 하면 좀 이해할 수 있는데요. GPU 임대료는 장비를 일정 시간 쓰는 가격이고요. AI 이용 요금은 그 장비로 처리한 작업에 매겨지는 가격입니다. 장비 한 대로 더 많은 일을 처리하게 되면 임대료가 올라도 작업 하나를 처리하는 비용은 내려갈 수가 있겠죠. 그런데 또 비용이 싸진만큼 사람들이 AI한테 맡기는 일을 들린다면 필요한 서버는 오히려 더 많아질 수도 있겠죠. 마침 구글이랑 마이크로소프트에이어서 아마존도 이번 실적에서 고객의 AI 사용이랑 클라우드 사업이 얼마나 커졌는지를 공개했습니다. 오늘은 작업 하나를 싸게 만드는 기술이 어떻게 전체 연산 수요랑 연결이 되는지 그리고 늘어난 수요가 실제 매출이랑 이익으로 이어지려면 어떤 조건이 필요한지도 한번 살펴볼게요.

여러분 한시간에 처리하는 일이 많아지면 작업 비용은 내려갈까요? 같은 품질이랑 응답 속도를 유지를 한다고 한번 가정을 해 볼게요. GPU를 한시간 빌리는 값이 50%가 올라도 그 시간에 처리하는 작업이 세 배가 되면 작업 하나에 드는 GPU 비용은 절반으로 줄어들겠죠. 장비를 쓰는 가격이 옳은 것보다 그 장비로 처리할 수 있는 일이 더 빠르게 늘어난 겁니다. 실제 서비스에는 메모리랑 네트워크 운영 비용도 들어가는데요. 업체가 고객을 확보하려고 이익을 좀 덜 남기면서 요금을 내릴 수도 있고요. 그래서 AI 요금이 내려가는 배경에는 그 처리 효율이랑 가격 경쟁을 함께 봐야 하는 거죠. 실제 가격표에서도 어떤 상목이 좀 싸졌는지 그거를 구분해 볼 필요가 있습니다. 10월 7일 앤트로픽은 손넷 5.5의 캐시기 요금을 100만 토큰당 20에서 10c로 낮췄는데요. 이미 처리한 입력의 계산 결과를 다시 활용하는 부분이 반값이 된 거고요. 다른 요금은 그대로였어요. 같은 내용의 긴 문서를 반복해서 입력을 하는 업무라면 이런 할인으로 비용을 꽤 아낄 수 있겠죠.

그런데 매번 또 새로운 내용을 읽거나 긴 답을 생성하는 업무는 비용 구조가 다를 테고요. 가격표에서 어떤 항목이 싸졌을 때 고객이 실제로 얼마나 절약하는지는 어떤 작업을 얼마나 반복하느냐에 달려 있는 겁니다. 자, 이렇게 작업 하나를 더 저렴하게 처리하게 됐다면 다음은 사람들이 맡기는 일이 얼마나 늘어나는지 요걸 봐야겠죠. 앞에 얘처럼 같은 GPU로 한 시간에 뭐 세 배 작업을 처리할 수 있게 됐다고 해 볼게요. 작업량도 세 배가 되면 필요한 GPU 시간은 그대로입니다. 작업량이 여섯 배가 되면 효율이 세 배 좋아졌어도 전체 GPU 시간은 두 배가 되는 거고요. 기업 입장에서는 같은 예산으로 더 많은 일을 맡길 수 있게 되는 거죠. 비용 때문에 일부 문서에만 하던 검사를 전체 문서로 확대를 할 수도 있겠죠. 에이전트는 작업의 범위도 넓히는데요. 예전에는 코드 추천만 받았었다면 이제는 수정을 하고 실행한 뒤에 결과를 검사하는 그런 과정까지 맡기는 식입니다. 사용자의 요청은 한 번이어도요. 뒤에서는 모델 호출이랑 데이터 조회가 여러 차례 일어나게 되는데요.

그러니까 연산 수요를 보려면 가입자수랑 함께 실제로 돌아가는 작업의 양이랑 또 한 작업에 들어가는 그 계산까지 봐야겠죠. 이런 사용 확대를 보여주는 사례가 네비우스인데요. 네비우스는 8월에 공개한 2분기 주주 서한에서 토큰 팩토리에 실제 서비스 운영에 쓰이는 출론 자금량이 세배가 넘게 늘었다고 밝혔습니다. 구형 GPU의 계약 가격은 전분기보다 30%가 넘게 높아졌고요. 또 새로 체결한 계약의 총액은 거의 네배가 됐다고 설명을 했습니다. 이거는 네비우스 한 회사의 집계이지만 실제 작업량이랑 장비 가격 그리고 앞으로 쓸 용량에 대한 계약이 다 함께 늘어난 사례이죠. 여기에서 작업량은 현재의 사용을 그리고 새로운 계약은 앞으로의 사용 약속을 보여 주는데요. 계약한 용량이 실제로 제공이 되고 또 매출로까지 이어지는 과정은 잠깐 뒤에서 다시 보겠습니다. 자, 그러면 구글이랑 마이크로소프트 AWS에서는 뭐가 확인이 됐을까? 요걸 먼저 좀 볼게요. 이번에 공개가 된이 세회사의 3분기 실적은 7월부터 9월까지의 기록이거든요.

10월의 요금 조정 그 이전부터 고객의 사용이랑 매출이 어떻게 움직였는지를 보여주죠. 구글은 발표 당시에 API로 제공하는 그 자체 AI 모델이 분당 약 320억 토큰을 처리를 하고 있고 또 직전 분기보다 40%가 늘었다고 밝혔습니다. 아마존도 베드록의 전체 토큰 처리량이 1년 전에 거의 17배 수준이 됐다고 공개를 했는데요. 베드록은 기업이 여러 AI 모델을 골라서 자사 서비스랑 업무에 연결해서 쓰는 서비스예요. 여기서 별도로 포t춘 500대 기업 고객의 배드럭 지출은 거의 일곱배 수준으로 늘었다고 밝혔습니다. 전체 이용량의 처리량이랑 특정 대기업 집단의 지출을 각각 센 숫자이죠. 처리하는 양이 커지는 동시에 기업 고객이 실제로 쓰는 돈도 늘고 있다는 단서예요. 이런 변화는 클라우드 매출에서도 잘 나타나는데요. 같은 7월부터 9월까지 구글 클라우드 매출은 전년보다 103%, 마이크로소프트 에저는 48% 그리고 아마존의 AWS는 39.3%가 3%가 늘었습니다. 여기에서 토는 처리량을 보여주고요. 매출은 고객한테 판매한 서비스랑 제품의 금액을 보여 주는데요.

우리가 실제 연산 수요를 해석을 하려면이 두 가지를 연결을 해서 봐야 돼요. 토큰도 캐시에서 다시 읽은 입력인지 아니면 뭐 새로 생성한 출력인지 따라서도 필요한 계산이 달라지고요. 클라우드 매출에는 AI웨 서비스도 들어가는데요. 특히 구글은 AI 인프라랑 솔루션 그리고 기존 클라우드 서비스에 더해서 자체 AI 칩인 TPU 시스템 판매도 성장에 상당히 기여를 했다고 설명을 했습니다. 고객한테 계산 서비스를 제공하는 경로랑 고객이 사용할 시스템을 판매하는 경로가 같이 이렇게 커지고 있는 거예요. 마이크로소프트는 앞으로 제공하기로 계약을 했지만 아직 매출로는 잡히지 않은 그런 상업용 계약 잔액도 크게 늘었다고 밝혔는데요. 여기에는 AI를 포함한 여러 가지 상업용 서비스가 들어갑니다. 지금까지 고객한테 판매한 매출에 더해서 앞으로 제공을 해야 할 그런 서비스의 규모도 같이 커진 거죠. 이번 발표에서 확인되는 방향은 고객이 클라우드랑 AI에 더 많은 작업이랑 지출을 맡기고 있다는 거예요. 그럼 이제 그다음 질문은이 작업을 받을 서버를 얼마나 빨리 준비를 할 수 있느냐 이거겠죠.

작업이 늘어나도 서버 공급이 더 빠르게 늘면 임대료가 오를 이유는 줄어드는데요. 임대료가 오르는 구간에서는 고객이 원하는 용량을 공급이 제때 잘 따라가고 있는지 그걸 봐야겠죠. 오른 SXM 임대 가격 지수는 10월 29일 기준 시간당 2.92달러로요. 30일 전보다 약 6.6%가 높았습니다. 실제로 지불 중인 그 온디맨드 임대 가격을 모은 지수예요. 공급 업체랑 지역 구성에 영향을 받고 장기 예약 계약은 제해가 되기 때문에 요거는 단기 시장의 가격 관측으로 보시면 되는데요. 그렇다면 왜 칩이 있어도 바로 쓸 수 있는 용량이 부족한 걸까요? 그거는 고객이 사는게 GPU칩 한 개의 계산 성능만이 아니기 때문이에요. 긴 문서를 읽고 여러 사람한테 빠르게 대답을 하려면 메모리 용량이랑 데이터를 읽어놓는 속도 그리고 서버 사이의 연결만까지 잘 맞아야 되는데요. 이게 요청을 모아서 한꺼번에 처리를 하면 효율을 높일 수가 있겠지만 또 먼저 온 고객이 기다리는 시간은 길어질 수가 있죠. 대화가 길어질수록 그 이전 입력 계산 결과를 보관하는 KB 캐치도 커지는데요.

그렇게 되면 이제 계산 장치에 여유가 있어도 메모리나 데이터 전송이 먼저 박힐 수가 있습니다. 이런 특성 때문에 입력을 읽는 단계랑 답변을 생성하는 단계를 서로 다른 GPU 그룹에 맡기기도 하는 거죠. 긴 입력을 처리하느라 진행 중인 답변이 느려지는 일을 줄이고 그다음에 각 단계에 맞게 자원을 배치하려는 그런 전략인 거죠. 그 대신에 두 그룹 사이로 KB 캐시를 빠르게 보내고 작업량도 고르게 나눠 줘야 돼요. 왜냐면 한 쪽만 바쁘고 다른 쪽이 놀고 있으면 GPU를 늘린만큼 처리량이 나오지 않겠죠. 엔비디아 다이나모가 다루는 것도 이런 작업 배분이랑 데이터 이동입니다. 여기에다가 고객이 원하는 지역에서 전력이랑 냉각까지 확보가 돼야 실제로 서비스를 팔 수 있는 거고요. GPU 개수랑 고객한테 제공할 수 있는 서버 용량 사이에는 바로 이런 차이가 숨어 있는 거죠. 그래서 우리가 임대료 상승을 해석할 때도 어디에서 공급이 막혔는지를 봐야 돼요. 이거를 소프트웨어로 처리 효율을 높이면 풀리는 문제인지 아니면 뭐 네트워크를 보강을 해야 하는지 아니면 뭐 전력 연결을 기다려야 하는지 이거에 따라서 필요한 투자가 다 달라지겠죠.

그리고 서버 공급을 늘리는 과정에서는 어떤 칩으로 작업을 처리할지 요것도 중요해집니다. 구글은 TPU를 그리고 아마존은 트레이니엄을 개발을 해서 자체 AI 인프라에 활용을 하고 있는데요. 이런 칩들의 세임을 넓히려면 개발자가 기존 작업을 옮기는 그런 부담도 줄여야 돼요. 새로운 칩을 쓸 때마다 막 코드를 크게 고치고 계산 결과를 다시 검증을 해야 한다면 장비 사용료가 저렴하더라도 이전하는 비용이 커질 수가 있잖아요. 아마존는 10월 20일 공개 베타로 선보인 토치 뉴런을 통해서 이런 부담을 낮추려고 하고 있는데요. 어 이거는 개발자가 많이 쓰는 파이토치 코드를 자체 AI칩인 트레이니엄에서 실행하기 쉽게 해주는 그런 소프트웨어입니다. 아마존은 기존 파이토치 방식이랑의 그 호환성을 강조를 하고 있는데 실제로 고객이 쓰는 모델과 연산이 잘 돌아가고 또 필요한 품질이랑 응답 속도를 낼 수가 있어야지만 칩을 바꿀 만한 그런 경제적 이유가 생기는 거겠죠. 비교해 볼 거는 칩의 사용료에 더해서 작업을 옮기고 운영하는데 드는 그런 전체 비용인 거겠죠.

이런 이전 부담이 낮아지고 TPU랑 트레이니엄의 쓰임이 넓어지면 늘어난 AI 작업이 여러 종류의 연산 장비로 나 수가 있습니다. AI 사용이 얼마나 증가했는지에이어서 어떤 장비에서 그 작업을 처리하는지도 봐야 하는 이유겠죠. 이렇게 고객의 사용이 늘어도 서버를 준비하는 회사에는 시간차가 생기게 됩니다. 고객의 작업을 받기 전에 전력이랑 냉각을 확보를 하고 장비를 설치해서 서로 연결한 뒤에 검수까지 맞춰야 하겠죠. 서비스를 팔기 전부터 이미 큰 돈이 들어가는 거예요. 지금 가동 중인 사업에서도 이익을 내면서도 다음 수요를 받을 그런 새로운 설비에 더 많은 현금을 쓸 수도 있는 그런 건데요. 구글 클라우드랑 AWS는 이번 분기에도 영업 이익을 냈습니다. 그런데 모회사 전체의 현금 흐름을 보게 되면 이게 설비 투자 부담도 상당히 크게 나타나요. 알파벳은 7월부터 9월까지 설비 취득에 사용한 현금이 영업에서 들어온 현금보다 더 많았습니다. 마이크로소프트는 또 같은 기간 영업 현금에서 현금 설비 지출을 빼고도 돈이 남았고요.

아마존은 최근 12개월 기준으로 영업 현금보다 순비 구매 지출이 더 많아서 잉여 현금 흐름이 약 424억 달러가 마이너스가 된 거고요. 여기에는 뭐 기존 사업이랑 전사 투자도 같이 들어가고 또 아마존은 집계 기간도 다르긴 한데요. 근데이 자료에서 볼 거는 각각의 회사가 앞으로 쓸 설비에다가 얼마나 먼저 돈을 넣고 있느냐예요. 그리고 그런 시간들을 이어가기 위해서 자금 조달 경로도 넓히고 있는 거고요. 알파벳은 이번 분기에 주식이랑 채권으로 그 자금을 마련을 했고요. 마이크로소프트도 10월 29일에 회사 발행 절차에 나섰습니다. 메타는 올해 5월에 250억 달러 규모의 회사체를 발행을 한데 이어 가지고 10월에는 또 주식성 자금 조달 계약도 활용을 하고 있고요. 회사체의 공시상의 용도는 설비 투자를 포함한 여러 기업 활동이고 또 자금이 들어오는 시점도 계약마다 다른데요. 근데 여기서 좀 주목을 해야 할 거는 대규모 투자를 진행하는 기업들이 영업 현금이랑 외부 자금을 조합을 해서 설비를 먼저 준비를 하고 있다는 점이죠.

그 설비를 제때 가동하고 실제 서비스 수익으로 연결을 해야지만 투자금을 회수를 하고 또 다음 증설도 이어갈 수 있는 거겠죠. 그래서 수요가 늘어도 계약이랑 상환 일정이 맞는게 중요합니다. 이런 시간차는 코어 위브나 네비우스처럼 AI용 GPU 인프라에 집중하는 그런 신흥 클라우드 업체 네오 클라우드에서 더 크게 작용을 할 수 있는데요. 코어위브의 2분기 매출은 약 25억 8천만 달러로 전년보다 112%가 늘었어요. 가동 전력 용량도 거의 500MW가 늘어 가지고 1.5GW가 됐고요. 매출이랑 또 공급할 수 있는 용량이 함께 커진 겁니다. 여기에 실제 고객의 유료 작업으로 용량을 얼마나 채우고 있는지까지 확인을 해 봐야 되는데요. 코어 위브는 상반기에 영업에서 들어온 현금보다 설비 취득에 훨씬 많은 현금을 썼어요. 네비우스도 10월 22일 미국 금융 그룹인 CT와 35억 달러 규모 그러니까 만기 약 1년에 금융 약정을 맺었고요. 고객이랑 계약한 다음에 설비를 준비하고 매출을 올릴 때까지 그 필요한 돈들을 조달하는 과정입니다.

이때 고객이랑 어떤 계약을 맺었는지가 중요해지는데요. 코어 위브는 2분기 매출의 98%가 고객의 약정 계약이랑 관련이 됐다고 밝혔거든요. 약정 계약은 미래 수입을 예측하고 설비 투자 자금을 마련하는데 도움이 되는데요. 그 대신에 계약한 가격이랑 기간에 묶기 때문에 단기 임대료가 올랐다고 기존 계약에 바로 반영할 수는 없죠. 약속한 용량을 제때 제공을 하고 고객도 약정한 대금을 지급을 해야지만 수입이 계획대로 들어옵니다. 짧은 계약은 높은 단가를 더 빨리 반영할 수 있지만 공급이 늘어서 임대료가 내려갈 때도 그 영향을 빨리 받게 되죠. 장비를 확보하는 계약이랑 실제 가동 사이에도 좀 시간차가 있는데요. 10월 26일 아폴로가 발표한 스페이스 X의 약 400억 달러 GPU 금융 릴리스도 종결 조건이 남은 약정입니다. GPU 인도는 2027년 상단기로 예상이 됐고요. 그러니까 계약을 맺은 시점이랑 장비가 들어와서 일을 시작하는 시점이 다른 거예요. 그 사이에 새로운 GPU가 나오고 뭐 기존 장비의 임대료가 달라져도 빌린 돈이랑 리스 대금은 정해진 일정에 맞춰서 갚아야 하죠.

구형 GPU가 여전히 작업을 잘 처리한다는 거랑 그 장비를 사는데 쓴 투자금을 회수를 할 수 있다는 것도 좀 구분해서 봐야 됩니다. 결국은 인프라 기업이 늘어난 수요를 이익으로 가져가려면 고객한테 돈을 받는 일정이랑 장비로 돈을 버는 기간 그리고 차익금을 갚는 일정이 다 이렇게 맞아 떨어져야겠죠. 한국 메모리 수요도 이런 흐름을 따라가면 좀 더 구체적으로 볼 수 있는데요. 유료 연산 수요가 늘어나서 GPU라던가 뭐 자체 AI 가속기에 실제 추화가 증가하게 되면 각 제품에 들어가는 HBM 수요로 이게 이어지겠죠. 긴 문맥이랑 여러의 계산 상태를 다루는 데는 서버 디램이랑 SSD를 활용하는 방식도 중요해지고요. 자주 쓰는 계산 결과는 빠른 메모리다 두고 다시 쓸 결과의 일부는 다른 메모리라던가 저장 장체 보관했다가 가져오죠. 반면에 캐시 재사용이랑 압축 그리고 모델을 더 적은 비트로 표현하는 양자와는 같은 작업에 필요한 자원을 줄이는 방향으로 작용을 하게 되고요. 그래서 우리가 메모리 주문을 판단을 할 때는 실제로 어떤 서버가 얼마나 늘어나고 또 그 서버에 어떤 메모리가 얼마나 들어가는지 이거를 봐야 합니다.

임대료가 오른 지역에서 전력 연결이 늦어지고 있다면 고객에 수요가 있기는 해도 장비 설치랑 추화가 뒤로 밀릴 수 있어요. 사용량 증가가 주문이랑 추하로 이어지는 과정에도 이게 공급 조건이랑 시간이 필요한 거예요. 자, 그러면 다시 이제 처음 질문으로 돌아가서 AI 작업의 서비스 요금이랑 GPU 임대료가 다르게 움직일 수 있는 이유를 다시 볼게요. 그 이유는 바로 두 가격을 결정하는 조건이 다르기 때문입니다. 작업당 비용은 처리 효율이 좋아지면서 내려갈 수가 있어요. 그런 과정에서 새로 맡기는 일이 더 빠르게 들고 바로 쓸 수 있는 서버가 부족하면 임대료는 오를 거고요. 구글이랑 마이크로소프트 그리고 AWS의 이번 발표는 고객한테 판매하는 클라우드 사업이랑 AI 사용이 커지고 있다는 근거를 더해 줬습니다. 그 수요를 이익으로 남기려면 설비를 제대 가동하고 고객의 지출로 투자금이랑 운영 비용을 회수를 해야겠죠. 저는 이제 앞으로 처리 효율이 좋아지는 속도랑 고객이 맡기는 일이 늘어나는 속도 그리고 실제 서버가 준비되는 속도를 함께 눈여겨서 볼 건데요.이 세 가지가 어떻게 맞물리는지 요거를 잘 봐야지만 AI가 싸지는 현상이랑 인프라 소유가 커지는 현상 그리고 기업이 실제로 돈을 버는 과정이 착착착 연결이 되겠죠.

그럼 오늘은 여기까지 패치였습니다.