메모리 시장 변곡점? HBM은 빼고 CXL은 키운다… 인텔의 480GB GPU 등장 | 인텔의 진짜 목표는 서버 주도권

Video: 메모리 시장 변곡점? HBM은 빼고 CXL은 키운다… 인텔의 480GB GPU 등장 | 인텔의 진짜 목표는 서버 주도권
Channel: 안될공학 - IT 테크 신기술
Duration: 21m 24s
Source: subtitle (auto, ko)
Transcript:
네, 여러분 안녕하세요. 패치입니다. 인텔이 새로운 데이터 센터용 AI GPU를 공개했습니다. 메모리 용량은 최대 480GB인데요. 여기에 들어가는 메모리가 HBM이 아니라요. 스마트폰이나 노트북에서 익숙한 LPDDR 5X입니다. 제품 이름은 D270으로요. 크레센트 아일랜드라는 개발명으로 알려졌던 제품이거든요. 정확히는 인텔 자체 카드가 160GB고요. 협력사가 설계하는 제품에서는 최대 480GB까지 지원을 하는 구성입니다. 그동안 AI 반도체 경쟁에서는 더 강력한 GPU에다가 더 빠른 HBM을 붙이는 방향이 큰 관심을 받고 있었죠. 그런데 인텔은 다른 종류의 메모리로 대용량 출론 시장에 도전을 하고 있습니다. 인텔이 HBM을 구하기 어려워서 이런 선택을 한 걸까요? 아니면 메모리 속도에서 분리하더라도 고객이 살 만한 또 다른 이유가 있는 걸까요? 그리고 이런 제품이 늘어나면 HBM을 만드는 한국 기업에는 또 어떤 변화가 생길까요? 이런 질문들을 따라가다 보면 인텔이 GPU랑 함께 무엇을 팔고 싶은지도 보입니다.

기업들이 이미 사용하고 있는 제온 CPU랑요. X86 서버 환경인데요. AI가 코드를 고치고 자료를 검색하고 분석 도구를 실행하기 시작하면 GPU 밖에서도 처리해야 할 일이 많아지죠. 인텔은 그런 일들을 기존 서버에서 이어가면서 AI 연산에 필요한 GPU를 추가하자고 제안을 하고 있는 겁니다. 그럼 이런 시스템에서는 왜 대용량 LPDR이 선택지가 되는지부터 한번 살펴볼게요. 자, 먼저 인텔만 이런 선택을 한 건 아니라는 사실을 좀 짚고 넘어가야 할 것 같은데요. 퀄컨도 데이터 센터용 AI 추론 가속기인 AI 200에다가 카드 한 장당 768GB의 LPDDR 메모리를 지원을 한다고 발표했습니다. 스마트폰의 AI 기능을 처리하던 MPU 기술을 바탕으로 서버에서 모델을 실행하는 시장에 도전을 하는 건데요. 올해 3월 MWC에서는 AI2 카드 한 장으로 3,500 파라미터 모델을 실행하는 그런 시험도 소개를 했습니다. 파라미터는요. AI가 학습한 정보를 담는 숫자들이고 모델의 규모를 설명할 때 자주 등장하는 단위죠.

인텔과 컬컴 모두 대용량 저전력 디램을 사용하는 서버형 추론 제품을 제한하고 있습니다. 추론은 이미 학습된 모델에다가 새로운 입력을 넣고 결과를 만드는 과정이죠. 그럼 드가 HBM을 구하기가 어려워서 같은 대안을 찾은 걸까요? 음. 공개된 사양만으로 개발 동기를 그렇게 단정하기는 좀 어렵고요. 대신에 두 메모리의 구조를 한번 보면 제품에서 뭘 다르게 선택을 했는지 이해를 할 수 있어요. HBM은 여러 디램을 수직으로 쌓고 칩을 관통하는 미세한 연결을 통해서 데이터를 전달을 하죠. 연산 칩이랑 연결할 때도 아주 촘촘한 배선으로 많은 데이터를 한꺼번에 주고받도록 구성을 하고요. 이렇게 높은 대역폭을 확보를 하려면 메모리를 쌓는 기술뿐만이 아니라 연산칩이랑 함께 연결하는 그런 패키징 기술도 필요한데요. 자, 여기에서 대역폭은 일정한 시간, 그러니까 뭐 예를 들어서 1초라든가 그런 시간 안에 데이터를 얼마나 많이 옮길 수 있는지를 뜻합니다. LPDDR을 선택을 하면 HBM 적층이랑 연결 구조에 의존하는 부분을 줄이면서 다른 방식으로 용량이랑 비용의 균형을 맞출 여지가 생기죠.

대신에 필요한 대역폭을 확보하도록 메모리 연결을 설계를 해야 되고요. 고객한테도이 선택의 의미를 갖는 경우가 있는데요. 어 예를 들어서 모델 실행에 필요한 메모리가 120GB인데 가속기 한 장의 메모리는 96GB라고 가정을 해 볼게요. 그 상태로는 한 장에 다 담을 수 없겠죠. 모델을 압축하거나 아니면 일부를 다른 메모리에 두거나 여러 가속기에 나눠야 됩니다. 여러 장으로 나누면 계산 성능을 더 확보할 수도 있지만 장비랑 연결 비용이 추가가 되고요. 또 서로 데이터를 주고받는 과정도 생기죠. 반면에 메모리가 큰 카드라면 한 장에 담을 여지가 있을 거예요.이 고객은 계산 성능이 몇 배 더 필요해서 여러 장을 사려던게 아니고요. 우선 모델이 들어갈 공간이 부족했던 겁니다. 그래서 메모리 용량의 큰 가속기는 고객의 구매 구성을 바꿀 수 있어요. 물론 한 장에 담긴 다음에도 원하는 속도를 내는지 그걸 확인을 해 봐야 되는데 그 부분은 한번 실제 작업이랑 연결을 해서 볼게요. 최근 AI 모델에는 이런 대형량 메모리의 필요성을 잘 보여주는 구조가 있거든요.

여러 계산 경로 가운데 입력에 맞내 일부를 골라서 사용하는 MOE입니다. 모델 안에 여러 연산 모듈 가운데서 어떤 걸 사용할지 선택하도록 학습된 구조라고 보시면 되는데요. 어, 예를 들어서 올해 공개된 코딩용 모델인 Q13 코더 넥스트를 한번 볼게요. 전체 파라미터는 800억인데 토큰 하나를 처리할 때 활성화하는 파라미터는 약 30억입니다.이 모델은요. 토큰을 처리할 때마다 내부의 모든 부분을 같은 방식으로 계산을 하지 않고요. 일부 경로를 선택을 해서 사용하는데요. 그런데 지금 선택되지 않은 부분도 다음 토큰에서는 필요할 수 있겠죠. 그래서 모델 전체를 가속기 메모리에다 올려서 실행하는 구성에서는 당장 계산에 쓰지 않는 그런 부분들도 메모리에 준비를 해 둡니다. 여기에서 계산량과 저장 공간의 차이가 생기는 거죠. 계산에 참여하는 부분을 줄였어도 모델 전체가 차지하는 용량까지 같은 비율로 줄어들지는 않는 거예요. 800억의 파라미터를 하나당 2바트라고 저장을 한다고 그렇게 단순하게 계산을 해 보면 가중치만 약 160GB죠.

실행 중에 필요한 추가 공간은 별도고요. 숫자로 더 적은 비트를 표현하는 그런 양자화를 적용을 하면 용량을 줄일 수 있지만 또 그 방식에 맞는 연산 지원이랑 결과 품질 확인이 필요하겠죠. 그러니까 활성 파라미터가 30억개라는 설명을 보고 어 30억 개짜리 모델을 담을 공간만 있으면 되겠네. 이렇게 생각을 하면 안 되는 겁니다. 이런 모델은 연산 성능이랑 메모리 용량의 균형을 좀 다르게 잡은 제품에 기회를 줄 수 있는데요. 물론 선택된 부분의 정보를 빠르게 읽어오는 일은 여전히 중요하고요. 실제 성능은 또 모델 구조랑 실행 방식에 따라서도 달라져요. 지금 예로든 모델이 인텔이나 퀄컴 제품에서 어떤 속도로 실행되는지도 별도의 검증 대상입니다. 여기서는 계산량을 줄인 모델에서도 큰 저장 공간이 필요할 수 있다는 점 그 점을 보시면 되는 거예요. 그리고 또 서비스를 운영할 때는 그 공간에 모델만 담는 것으로 끝나지 않겠죠. 개발자 여러 명이 회사의 코딩 에이전트를 사용을 한다고 생각을 해 볼게요. 한 사람은 결제 오류를 고쳐 달라고 하고 또 다른 사람은 검색 기능을 추가해 달라고 합니다.

AI는 관련 파일을 찾고 코드를 수정하고 테스트를 실행하죠. 오류가 나오면 결과를 읽고 다시 수정을 하고요.이 과정에서는 처음 받은 요청뿐만이 아니라 어떤 코드를 확인을 했고 또 뭘 수정을 했고 그리고 어떤 테스트가 실패했는지도 다음 판단에 꼭 필요한데요. 사용자 여러 명이 하나의 모델을 공유하더라도 각자 진행하는 작업의 문맥이란 그런 계산 상태에는 추가 공간이 필요할 수 있다는 거죠. 그런데 모델이 다음은 행동을 결정을 할 때 그 이전 입력을 매번 처음부터 계산을 하면 아주 비효율적이겠죠. 그래서 이미 처리한 입력의 중간 계산 결과를 보관을 해서 재사용하기도 합니다. 이게 바로 KB캐시고요. 화면에 보이는 대화 기록 자체가 아니라 모델의 입력을 처리하면서 만들어 둔 그런 숫자 데이터를 뜻하는데요. 자, 그럼 이제 AI가 테스트 결과를 기다리는 장면을 볼게요. 그동안에 서버는 다른 사람의 요청을 처리할 수 있습니다. 원래 작업으로 돌아왔을 때 앞선 계산을 재사용하려면 관련 캐시가 남아 있어야 하는데요.

공간이 부족해서 제거를 했다면 필요한 부분을 다시 계산해야 할 수도 있죠. 지금 답변을 만들고 있지 않은 작업도 나중에 효율적으로 이어가기 위해서 메모리를 사용을 하는 거예요. 근데이 상태를 전부 GPU 메모리에 또 계속 남겨 둘 필요는 없겠죠. 일부를 CPU 쪽에 시스템 메모리, 그러니까 호스트 메모리에다 옮겨 뒀다가 다시 가져오는 방법도 있는데요. 지난 9월에 공개된트 에이전트 연구가 바로이 문제를 다루고 있습니다. 여러 코딩 에이전트를 운영을 하면서 캐시를 호스트 메모리로 옮길 때 다시 사용할 상태를 충분히 보관할 공간이 있어야지만 효과가 나타난다는 분석입니다. 저장에 놓고도 이걸 재사용하기 전에 이렇게 밀려놔 버리면 데이터를 옮기는 부담만 괜히 커질 수 있다는 거죠.이 이 연구는 캐시 관리 방식에 관한 연구 270의 성능을 검증한 자료는 아닙니다. 여기에서 볼 점은 모델을 담는 공간 외에도요. 작업을 효율적으로 이어갈 그런 상태를 보관할 공간이 필요하다는 거예요. 실제로 필요한 용량은 모델의 캐시 구조라든가 입력 길이 그리고 동시에 진행하는 작업수에 따라서 달라지겠죠.

불필요한 기록을 정리하거나 캐시를 이렇게 압축해 주는 그런 기술도 있으니까 작업이 늘어나는만큼 메모리만 계속 늘리면 된다고 보기는 좀 어려워요. 어떤 상태를 남기고 어디에 둘지 그거를 결정하는 소프트웨어도 함께 필요합니다. 그리고 호스트 메모리는 GPU에 직접 붙은 메모리랑 연결 경로가 또 다르죠. 공간을 확보하는 대신에 데이터를 옮기는 시간도 고려를 해야 되고요. 이제 GPU 카드의 용량에 더해 가지고 CPU 쪽에 메모리랑 서버 전체 역할 분단까지 봐야 하는 겁니다. 코딩 에이전트가 테스트를 실행한다고 해서 GPU가 테스트 프로그램까지 전부 실행하는 건 아닌데요. 모델이 다음 행동을 결정을 하면 별도의 프로그램이 파일을 열고 명령을 실행하고 결과를 돌려 줍니다. 이런 일을 CPU랑 일반 서버 시스템이 맞는데요. 어 공장의 분량 원인을 조사하는 AI를 한번 가정해 볼게요. 담당자가 자 지난주부터 분량이 늘어난 원인을 좀 찾아줘라고 요청을 합니다. 모델이 설비 점검 기록을 확인하기로 판단을 하면 서버의 프로그램이 데이터베이스에서 해당 자료를 가져오고요.

원재료 변경 이력이랑 비교를 하고 분석 도구를 실행한 다음에 결과를 모델한테 전달을 하죠. 그럼 모델은 그 결과를 읽고 다음에 뭘 확인을 할지를 결정을 하겠죠. 공장의 원본 데이터를 전부 GPU 메모리에다 집어넣는 그런 방식이 아니라 필요한 자료를 가져오고 분석하고 그런 과정이 반복이 되는 거예요. 근데 그 과정에는 데이터 조회랑 전 처리, 도구 실행, 작업 순서 관리 같은 일이 포함이 되는데요. 인텔은 이번 발표에서 제연 CPU가 이런 역할을 맡고 GPU랑 다른 가속기가 모델 연산 등을 처리하는 그런 구성을 강조를 하고 있습니다. GPU가 빨라도 필요한 데이터를 제대 받지 못하거나 도구 실행이 오래 걸리게 되면 전체 작업의 완료 시간은 늘어나겠죠. 근데 또 반대로 CPU를 더 강하게 바꿔도 모델 연산이 대부분의 시간을 차지를 하면 효과가 작을 수도 있는 거예요. 그러니까 어디가 병목인지에 맞춰서 CPU랑 GPU를 잘 조합을 해야 하는 거죠. 이거를 이제 인텔의 사업 입장에서 보면 의미가 꽤 있는데요.

기업이 AI를 도입을 할 때 이미 사용하는 X86 서버 환경을 기반으로 확장을 하도록 제한을 할 수 있기 때문이에요. 기존 프로그램이랑 데이터 처리 방식을 활용을 하면서 모델 연산에 필요한 가속기를 추가를 하는 거죠. 새롭게 서버를 구축할 때도 제온이랑 GPU를 조합할 이유를 만들 수도 있고요. D270의 표준 PCI 카드 형태랑 350W 공 설계는 이런 도입 방향이랑 좀 맞다 있습니다. 인텔은 별도의 수행 설비 개조 없이 기존 데이터 센터 환경에서 평가를 하고 도입을 할 수 있다는 점을 내세우고 있는데요. 실제로는 서버의 슬러시랑 공간 전력 공급이랑 공기 흐름, 장비 호환성 이런게 맞아야겠죠. 기존 서버를 활용한다는 말에는 이런 조건이 붙는 겁니다. 그리고 재온 중심으로 시스템을 제한하는 전략이랑 D272 제에서만 작동을 한다. 그런 주장을 좀 구분을 해서 봐야 돼요. 우리가. 현재 발표해서 읽을 수 있는 사업적 방향은 AI 도입이 제온이랑 기존 서버 생태계를 계속 사용할 이유로 이제 이어지게 하려는 건데요.

여기에서 D270 카드 밖으로 조금 시야를 넓혀서 볼게요. 인텔의 CPU를 중심으로 서버의 연결이랑 메모리 확장을 어떻게 묶고 왔는지를 보면 이번 제한의 방향도 조금 더 잘 보이는데요. 그래픽 카드나 고속 SSD를 연결할 때 사용하는 PCI를 한번 보겠습니다. 인텔은이 기술의 초기 개발이랑 보급에 핵심적으로 참여를 했죠. 여러 기업이 함께 개발을 하고 PCI가 관리하는 그런 산업 표준이에요. 인텔은 CPU 주변에다 장치를 연결하고 검증하는 생태계를 함께 키워 왔는데요. 어, 서버 업체는 CPU가 제공하는 연결 속도랑 통로수에 맞춰서 제품을 설계를 하고요. 주변 장치 업체는 그 서버에서 호환성을 검증하고 고객은 해당 운영 환경에 익숙해집니다. 근데 이런 선택이 쌓이게 되면 다음 서버를 살 때도 똑같은 플랫폼을 활용할 이유가 생기는 거예요. 메모리에서는이 흐름이랑 연결되는 기술이 CXL인 거고요. GXL은 인텔리 내부에서 개발한 그런 기술을 산업계에 제공을 하면서 출발을 했고요. 지금은 여러 기업이 참여하는 컨서시엄이 발전시키는 그런 공개 표준입니다.

PCI의 물리적 연결 기술을 활용을 하면서 추가 메모리를 CPU가 메모리로 읽고 쓸 수 있도록 하는 그런 기능 등을 지원을 하고 있어요. 지원하는 장치랑 구성에 따라서 메모리 확장이나 풀링 같은 활용이 가능해지는 거죠. 서버에는 CPU에 직접 연결할 수 있는 메모리 슬러시랑 채널수에 한 개가 있습니다. 코어는 충분한데 메모리 용량이 먼저 부족해지면 더 큰 모듈을 쓰거나 서버 구성을 바꿔야 할 수도 있겠죠. CXL은 바로 여기에다가 다른 확장 경로를 제공을 하는 겁니다. 대신 CPU 가까이에 있는 디램이랑 CXL로 연결된 메모리는 접근 시간이랑 대어폭이 좀 다를 수 있어요. 그 차이를 무시하고 아무 데이터나 막 배치를 하면 용량은 늘었는데 또 성능이 떨어질 수 있겠죠. 그래서 자주 쓰는 데이터는 가까운 메모리에다 두고 상대적으로 덜 쓰는 데이터는 확장 메모리에다 두는 그런 관리가 중요합니다. 인텔의 제온 6랑 6플러스에 들어간 플랩 메모리 모드가 이런 문제를 견냥을 하고 있어요. CPU에 직접 연결된 디램이랑 CXL 메모리를 운영 체제의 하나의 메모리 공간으로 보여주고요.

두 계층 사이에 데이터 배치를 하드웨어가 관리를 하는 거죠. 프로그램이 매번 어느 메모리다 둘지 직접 관리를 해야 되는 그런 부담을 좀 줄이려고 하는 겁니다. 그러니까 공개 표준 위에다가 자사 CPU의 관리 기능을 얹어 가지고 차별화를 하려는 그런 방식이라고 보면 되죠. 물론 이런 기술이 고객한테 선택을 받으려면 실제 운영에서도 좀 이득을 보여 줘야겠죠. CXL은 기대에 비해서 확산이 좀 더디다는 평가를 받아왔는데요. 올해 7월 메타 연구진의 발표에서도 대규모 배치 보고가 좀 제한적이었다고 지적이 있었습니다. 추가 하드웨어 비용이랑 소프트웨어 준비 같은 것들이 장애물로 작동을 하고 있다는 그런 설명인데요. 그거랑 동시에 메타는 또 자체 CXL 시스템인타라가 실제 운영 중이라고 소개를 했어요. 구체적인 업무에서 비용이랑 운영상의 이득을 입증하는 그런 과정으로 볼 수 있는 겁니다. 앞서 이야기한 KB캐시도 그런 용도 중에 하나인데요. 한 GPU가 계산한 캐시를 다른 GPU가 찾아서 재사용을 하고 또 필요한 캐시를 CXL 메모리랑 GPU 사이에서 옮기는 구성인데요.

같은 입력의 앞부분을 여러 요청이 공유를 한다면 이미 처리한 부분을 또다시 계산하는 그런 일을 줄일 여지가 있는 거죠. 여기에서 D270 기능이랑은 조금 구분을 해야 하는데요. PCI 카드라는 사실만으로 CXL 메모리 공유까지 이게 지원이 되는 건 아니고요. D2에 LPDDR이 CXL 공유 메모리로 제공된다는 그런 발표도 확인된 바가 없습니다. 근데 다만 인텔의 큰 전략에서는 우리가 함께 볼 수 있겠죠. GPU 쪽에다가는 큰 로컬 메모리를 붙이고 CPU 쪽에서는 메모리를 확장하고 관리하는 그런 능력을 높이는 겁니다. 기존 서버 환경에서 AI 업무를 계속 늘릴 수 있도록 선택지를 제공하는 방향인 거죠. CXL은 공개 표준이기 때문에 그 기회가 인텔한테만 돌아가는게 아니에요. 마이크론의 사례처럼 M비디아 GPU를 사용하는 시스템에도 활용이 될 수 있고요. 그러니까 인텔은 그 안에서 사람들이 제온을 선택했을 때 실제 편의성이랑 성능을 보여 줘야 되는 거죠. 이렇게 보면 인텔이랑 퀄컴의 강조점도 좀 달라지는데요.

둘 다 대용량 메모리를 사용하는 그런 출론 시장을 공략을 하고 있지만 퀄컴은 가속기랑 연결망 관리 소프트웨어를 통합한 그런 레규모의 구성을 강조를 하고 있고요. 인텔은 제온이랑 기존 X86 생태계를 함께 활용을 하면서 표준 PCI랑 공랭 환경에서 확장할 수 있다는 그런 점을 강조를 하고 있습니다. 자, 그럼 이제 앞에서 우리가 남겨뒀던 그 질문으로 한번 돌아가 볼게요. 큰 모델을 한 장에 담을 수 있다는 건 알겠는데 그래서 과연 고객이 원하는 속도도 나올까요? 인텔이 제시한 D시리즈의 메모리 대역폭은 초당 1.5바거든요. LPDDR을 사용을 했다고 해서 스마트폰 한대 수준의 메모리 통로를 붙였다고 생각하시면 안 돼요. 서버용으로 높은 대역폭을 확보도록 그렇게 구성한 제품입니다. 그리고이 숫자는 GPU랑 카드에 연결된 메모리 사이의 대역폭이에요. 이거를 GPU랑 CPU를 연결하는 PCI의 속도랑은 좀 구분을 해야 합니다. 서버의 일반 디램을 아무리 늘려도요. GPU가 그 데이터를 자기 메모리랑 같은 속도로 읽을 수 있는 건 아니니까 GPU에 직접 붙은 메모리가 의미를 갖는 거죠.

근데 그렇다고 큰 메모리만 확보하면 또 모든 추론 작업이 유리해지냐? 그것도 아니에요. AI가 긴 입력을 처음 처리하는 단계를 프리필이라고 하잖아요. 여기에 많은 연산이 필요하죠. 그다음 답변을 토큰 단위로 생성하는 디코드에서 모델이랑 계산 상태를 계속 읽는데 특히 적은 수의 요청을 처리하는 구성에서는 메모리에서 데이터를 가져오는 속도가 성능의 발목을 잡을 수가 있죠. 동시에 요청을 늘려서 계산을 묶으면 처리 효율이 좋아질 수는 있지만 일단 사용자가 기다리는 시간이랑 메모리 사용량도 함께 살펴야 되고요. 그래서 에이전트는 입력을 많이 읽으니까 LPDDR이 유리하다. 이렇게 한 번의 결론을 내릴 수는 없습니다. 새로 처리하는 입력이 얼마나 긴지 캐시를 얼마나 재사용을 하는지 뭐 답변을 얼마나 길게 생성하는지 이거에 따라서 적합한 구성이 다 달라지겠죠. 실제로 엔비디아의 다이나모도 프리필이랑 디코드를 서로 다른 GPU 작업군으로 나누는 구성을 지원을 하는데요. 추론 안에서도 단계마다 필요한 자원이 다르기 때문이죠.

고객이 실시간 답변을 제공하면 응답 시간이 중요하겠죠. 근데 또 밤새 문서를 검토하는 업무라면 아침까지 완료한 그런 작업량이 중요할 수도 있겠고요. 그런데 밤새 처리해도 되는 업무라고 해서 좀 느린 장비가 무조건 경제적인 건 또 아니에요. 왜냐하면 빠른 장비가 그냥 일을 먼저 끝내 놓고 다른 업무를 처리하는 편이 더 유리할 수도 있잖아요. 같은 품질의 결과를 정해진 시간 안에 얼마나 만들었고 그리고 그러는 동안에 장비랑 전력에 얼마가 들었는지 이거를 좀 비교를 해 봐야 됩니다. 성능이 충분하다고 해도 고객한테는 또 하나의 선택지가 있는데요. 서버를 직접 사는게 아니라 외부 AI 서비스를 사용하라는 거죠. 외부 API를 쓰면 장비 설치랑 모델 운영 부담을 줄일 수가 있는데요. 어, 사용량이 좀 적거나 필요한 모델이 자주 바뀌는 그런 회사라면 오히려 이런 방식이 편리할 수도 있겠죠. 반면에 데이터 관리 조건이라든가 내부 시스템 연결, 지속적인 사용형 때문에 자체 운영을 검토하는 그런 기업들도 있을 거예요.

그러니까 인텔 설득을 해야 하는 대상은 엔비디아 장비를 사려던 그런 고객뿐만이 아니라 외부 서비스를 계속 쓰는 편이 낫다라고 생각을 하는 고객한테도 아니다. 그렇지 않아요. 직접 운영할 이유가 있습니다라고 이렇게 보여 줘야 되는 거죠. 직접 운영을 하기로 결정을 해도 또 준비할 일이 있습니다. 모델을 설치하고 내부 시스템에 연결해서 안정적으로 서비스를 환경을 만들어야 되는데요. 이미 크다 기반으로 자체 운영을 하고 있던 고객이라면 기존 코드랑 실행 환경을 옮기는 그런 비용들도 따져 봐야겠죠. 사용하던 모델이랑 양자 방식이 잘 지원되는지 그것도 확인을 해야 되고요. 지원 모델 목록에 이름이 올라가 있는 거라 실제로 고객의 업무가 안정적으로 잘 돌아가는 거는 차이가 있습니다. 도구 호출이 잘 되는지 뭐 긴 입력을 처리하다가 문제가 생기진 않는지 요청이 몰려와도 서비스를 유지할 수 있는지 이것까지 검증을 해야 해요. 장비 가격을 아껴도 개발자들이 이전이랑 유지보수에 많은 시간을 쓰게 된다면 이득이 좀 줄어들 수 있는데요.

그래서 인테리 제품이 타겟으로 삼고 있는 고객은 꽤나 구체적이에요. 일단은 큰 공개 모델을 자체 운영할 이유가 있고요. 그만큼 꾸준한 업무량이 또 있고 기존 서버 환경을 활용을 하고 싶어 하는 그런 고객입니다. 여기에 D270이 제공하는 실제 속도랑 소프트웨어 지원도 업무 조건을 충족을 해야 되고요. 현재 인텔은 고객사 샘플 공급을 진행을 하고 있다고 밝혔는데요. 지금 확인을 할 수 있는 건 제품의 사양이랑 그 견향을 하고 있는 방향인 거고 근데 실제 경제성은 고객 환경의 결과가 쌓여야지만 평가를 할 수 있겠죠. 결국 장비에서 비용을 아끼더라도 모델 이전이랑 소프트웨어 운영에 들어가는 비용까지 다 합쳤을 때 그러고도 이득이 남아야지만 이제 고객이 선택할 이유가 생기는 겁니다. 자, 그럼 이런 제품들이 늘어나게 되면 HBM 소요는 줄어들게 될까요? 기존에 HBM 가속기를 구매를 하려던 고객이 LPDDR 기반 제품으로 바꾼다면 뭐 약간은 일부 대체가 일어날 수도 있겠죠. 근데 반면에 비용이라든가 시설 문제로 자체 AI 서버를 도입을 하지 못하고 있던 고객이 새로 구매를 하게 된다면 기존 시장 옆에 또 수요가 새로 생기는 거예요.

현실에서는 이런 양쪽에 있는 변화가 함께 나타날 수도 있습니다. 그냥 단순히 학습이랑 추론이라는 이름만으로 메모리를 나누기도 어렵고요. 출론에서도 높은 처리량이랑 빠른 응답이 필요한 작업에는 높은 대역폭이 중요하고요. 대용량 메모리가 유리한 작업에서도 또 그 데이터를 처리할 연산 성능이 필요하고요. 실제 업무에 따라서 서로 다른 구성이 선택이 될 그런 가능성을 좀 봐야 되는 거예요. LPDDR도 삼성전자랑 SK하이닉스 마이크론이 경쟁하는 디램 시장이에요. 삼성전자도 LPDDR 5X를 주요 제품으로 공급을 하고 있고요.데 다만 HBM 대신에 LPDDR이 팔려도 한국 업체에 똑같이 좋냐 그거는 또 그렇게 계산을 할 순 없습니다. 왜냐면 제품 가격이랑 수익성이 다르고요. 생산 능력이랑 패키징 자원을 사용하는 그런 방식들도 다르기 때문이에요. 메모리 판매 용량이 늘어나는 거랑 이익이 그만큼 같은 크기로 늘어나는 거는 약간 구분을 해서 봐야 됩니다. 서버의 LPDDL 사용이 크게 늘어난다면 스마트폰이라든가 노트북용 메모리의 수급에도 변수로 좀 작용을 할 수가 있을 텐데요.

근데 그 역량은 이제 실제 서버 수요가 얼마나 커지는지 또 업체들이 어떤 제품을 얼마나 생산하는지에 따라서 달라지겠죠. 인텔 D270에 어느 제조사에 메모리가 들어가는지도 지금은 일단 공개적으로 확인된 범위를 벗어나기 때문에 단정을 할 수가 없는데요. 음. 엔비디아의 MVHBM이랑 베이스다의 변화는 안들공항에서 얼마 전에도 다뤘듯이 고객사가 메모리 설계에 좀 더 깊이 관여하는 그런 흐름이었죠. 이번 인텔 선택에서는 메모리 사양에다가 더해서 기업이 AI 서버를 어떤 방식으로 확장할지도 경쟁에 대상이 되고 있습니다. 대용량 GPU를 추가하면서 기존 제온 서버를 계속 활용하게 만들 수가 있을지 여러 메모리랑 가속기를 효율적으로 운영할 수 있을지가 중요해지는 거죠. 앞으로 D270의 결과가 나오면 큰 모델이 한번 실행됐다는 장면 그다음을 좀 보시면 좋겠습니다. 고객이 실제로 업무를 옮겨서 계속 사용을 하는지 그리고 업무량이 늘어났을 때 추가로 구매를 하는지 그런 것들도 봐야 된다는 말이죠. 그렇게 되면 이제 인텔의 480G바가 고객의 비용을 줄이고 다음 서버에서도 제온을 선택할 이유가 됐는지 확인을 할 수 있을 것 같습니다.

그럼 오늘은 여기까지 패치였습니다.