더 읽어보기
Marvell, 광학 네트워킹을 주도할 포토닉스 리더에 1,150억 달러 베팅하며 구리 분야의 선두주자가 되길 원함
오라클(Oracle), 공시 후 일주일 만에 200억 달러 차입 한도 흡수
에릭슨(Ericsson), 모바일 네트워크만으로 드론을 탐지하고 추적할 수 있다고 밝힘
해커들, Trigger AI 워크플로우 도구에서 환경 변수를 훔쳐감
토큰 절도범들이 기업에 하루당 10만 달러 이상의 불법 LLM 비용을 발생시키고 있음
Qualcomm 임원들은 올여름 고대역폭 컴퓨팅(High-Bandwidth Computing, HBC)이라는 아키텍처를 소개했습니다. 이는 AI 추론(AI inferencing) 분야—그리고 이제 에이전트형 AI(agentic AI)에서도—지속되는 문제인 메모리 벽(memory wall)에 대한 해결책입니다. 본질적으로 이러한 모델의 성능은 프로세서의 컴퓨팅 능력, 즉 칩이 계산을 얼마나 빠르게 할 수 있는지보다는 칩이 데이터에 얼마나 빨리 데이터를 공급할 수 있는지에 더 많이 의존하게 되었습니다.
이는 AI 워크로드를 실행하는 데 필요한 성능뿐만 아니라 비용에도 영향을 미치는 문제입니다. Qualcomm은 일반적으로 사용되는 두 가지 전략을 설명했습니다. 하나는 AI 모델을 빠른 온칩 메모리(on-chip memory)에 배치하는 것이고, 다른 하나는 프로세서를 지원하기 위해 스택형 고대역폭 메모리(stacked high-bandwidth memory, HBM)를 사용하는 것입니다. Qualcomm은 세 번째 전략인 근접 메모리 컴퓨팅(near-memory computing), 즉 HBC를 지지합니다. 이는 컴퓨터를 가장 중요한 메모리에 더 가깝게 이동시키는 방식입니다.
임원들은 더 많은 컴퓨팅 능력의 필요성과 그 수요에 데이터를 공급할 수 있는 능력 사이의 격차—즉, 메모리 벽—를 해소하려면, 컴퓨팅 능력이 메모리와 그 데이터가 위치한 곳에 더 가까워져야 한다고 주장합니다. 이는 AI 모델이 필요한 데이터에 더 빠르게 접근할 수 있게 하며, 데이터가 컴퓨팅 장치까지 이동하는 거리가 길어지면서 발생하는 시간, 에너지 및 비용을 줄여줍니다.
이는 Qualcomm이 HBC 아키텍처를 처음 발표했을 때인 7월에 제기했던 주장이며, 현재도 계속하고 있는 내용입니다.
퀄컴의 게라르도 지아레타(Gerardo Giaretta)는 최근 기자들과 분석가들에게 "기존 컴퓨터 아키텍처에서는 일반적으로 DDR을 사용하며, 패키지에 메모리가 있고 용량은 충분하지만, 데이터를 매우 느리게 이동시키는 좁은 링크를 가지고 있습니다"라고 말했습니다. 그는 또한 "지금까지 AI 분야는 HBM(High Bandwidth Memory) 아키텍처에 초점을 맞춰왔습니다. 이는 기본적으로 레인 수를 늘리고 컴퓨팅 장치와 HBM 사이에서 데이터를 얼마나 빠르게 이동시킬 수 있는지에 관한 것입니다. 하지만 이의 어려움은 HBM을 위해 지불해야 하는 프리미엄입니다. 이 프리미엄은 특히 HBM이 소비하는 전력량, 복잡한 인터포저(interposer), 2.5D 패키징, 코-호스트 패키징 등 솔루션 비용 측면에서 발생합니다."라고 설명했습니다.
지아레타는 데이터가 컴퓨팅 장치로 이동했다가 다시 돌아오는 과정 자체가 문제이며, HBC(High Bandwidth Compute)는 데이터를 저장하는 곳 근처로 컴퓨팅 장치를 옮겨 이 문제를 해결하고 있다고 주장했습니다.
그는 "패키지 내부에 메모리 스택(stack of memory) – 저희의 경우 LPDDR 기반 –이 있고, 그 메모리 스택 아래에 컴퓨트 다이(compute die)가 있습니다"라고 말했습니다. "기본적으로 더 이상 데이터를 패킷 단위로 이동할 필요가 없습니다. 메모리와 컴퓨팅 장치 사이에는 매우 높은 대역폭이 자동으로 확보되며, 가장 큰 이점은 에너지 절감입니다. 왜냐하면 이제 밀리미터(millimeters)를 가로질러 데이터를 옮기는 것이 아니라 마이크로미터(micrometers) 단위로 데이터를 이동시키기 때문입니다. 간단히 말해, 데이터가 통과하는 공간 자체가 훨씬 적어지므로, 에너지 소비는 물론 에너지 효율성까지 크게 향상됩니다."라고 덧붙였습니다.
더 깊이 파고들자, 지아레타는 HBC의 첫 번째 세대에서는 퀄컴이 LPDDR 스택과 그 아래에 전체 AI 가속기(AI accelerator)를 사용하며, 여기서 대부분의 AI 워크로드 연산이 이루어진다고 말했습니다. 일부 연산은 아키텍처 및 구현 방식에 따라 공급업체의 Dragonfly AI250인 중앙 시스템 온 칩(SOC, System-on-a-chip)으로 이동할 수 있습니다. 하지만 가장 중요한 것은 대부분의 처리가 HBC 패키지 내에서 이루어진다는 점입니다.
Qualcomm이 내년에 출시 예정인 AI 추론 플랫폼인 AI250은 TFLOPs가 훨씬 높지만, AI250과 LPDDR 사이의 인터페이스는 HBC보다 느립니다. 핵심은 HBC에 필요한 작업을 지시하는 것입니다.
Giaretta는 “특정 구현에서 HPC를 코프로세서(co-processor)처럼 공존하는 방식으로 생각해야 합니다. 일단 그렇게 지시하고 디코드 작업(decode operations)의 대부분이 HBC 내에서 완료되면, 느린 링크 때문에 최종적인 엔드투엔드 성능(end-to-end performance)에 영향을 받지 않습니다. 데이터를 보낼 필요 없이 결과만 보내면 됩니다.”라고 말했습니다.
퀄컴 전문가들은 7월부터 HBC가 해결할 추론(inferencing) 과제들을 설명해 왔습니다. 이번 주에 회사는 실험실에서 1세대 HBC 실리콘을 확보했으며, 완전한 메모리 읽기-쓰기 경로와 근접 메모리 컴퓨팅(near-memory computations)이 테스트를 통해 생산 수준으로 검증되었다고 발표했습니다.
퀄컴 엔지니어들은 검증 작업에 업계 표준 자동 테스트 장비(automated test equipment, ATE)를 사용했습니다. 테스트 결과 HBC는 LPDDR 대비 최대 18배의 메모리 대역폭을 제공할 수 있으며, 고대역폭 메모리의 6세대인 HBM4와 비교했을 때 테라비트/초/와트(terabit-per-second-per-watt) 기준으로 5배의 에너지 효율성을 측정했습니다.
Giaretta는 이 결과에 대해 “실제로 추론을 수행할 수 있으며, 솔루션에서 명확한 성능 우위를 가져옵니다. 처음에 말씀드렸듯이 AI 추론은 단지—대부분의 경우—메모리 대역폭 제한적입니다. 이 솔루션은 필요한 대역폭을 가장 낮은 에너지로 제공합니다... OPEX 관점에서 볼 때, 데이터를 이동하는 데 소비되는 에너지 양인 에너지 효율성은 최소한 한 자릿수(one order of magnitude) 낮습니다.”라고 말했습니다.
결과를 확보함에 따라 Qualcomm은 계획을 추진하고 있습니다. Qualcomm은 1년 이상 AI 데이터센터 공간에서 더 큰 플레이어가 되고 Nvidia의 대안이 되기 위한 계획을 구상해 왔습니다. 이제 HBC가 Dragonfly AI250에 통합되어, 경영진들이 완전한 AI 추론 가속기 플랫폼이 될 것이라고 말하는 것을 만들 것입니다. 이는 공급업체의 추론 워크로드용 풀 스택 인프라인 Qualcomm Dragonfly Rack의 기반이 될 것입니다. AI250은 2027년 상반기에 샘플링을 시작할 것으로 예상됩니다.
HBC 실리콘의 검증은 또한 다년간의 로드맵의 첫 단계이며, AI250과 곧 출시될 Dragonfly C1000 CPU 샘플링 모두가 내년으로 예정되어 있고, Dragonfly AI300 샘플은 2028년에 나올 예정입니다.
Giaretta는 "이 검증은 HBC가 우리 솔루션을 다른 것들과 명확하게 차별화하는 요소이기 때문에 특히 중요합니다. 우리의 솔루션은 단순히 메모리가 아닙니다. 그래서 우리는 이것을 HBC, 즉 고대역폭 컴퓨팅(high-bandwidth compute)이라고 부릅니다. 우리는 메모리 스택 아래에 실제 TFLOPs를 가진 컴퓨팅 능력을 가지고 있습니다. 우리 솔루션은 단지 메모리 대역폭을 개선하는 것이 아닙니다. 우리 솔루션은 컴퓨팅 기능을 메모리 바로 아래에 배치하여 더 나은 메모리 대역폭을 제공합니다."라고 말했습니다.
그는 또한 Qualcomm이 HBC가 사용될 수 있는 다양한 방법을 결정하기 위해 여러 파트너와 협력하고 있다고 언급했습니다. Dragonfly AI250만이 HBC가 사용되는 유일한 제품은 아닙니다.
그는 또한 HBC 실리콘의 검증이 Qualcomm이 내년에 AI250의 고수율 제조(high-yield manufacturing)를 약속할 수 있는지에 대한 의구심을 해소해 줄 것이라고 말했습니다.
“이것은 일반적인 칩이 아니라는 점을 이해하는 것이 중요합니다.”라고 Giaretta가 말했습니다. “누군가가 이런 것을 시도한 것은 이번이 처음입니다. 저희는 보통 칩 개발(bring-up) 과정에서 블로그나 사전 브리핑 등을 하지 않습니다. 퀄컴에서는 엄청난 수의 칩을 다루지만, 그런 방식은 취하지 않았습니다. 저희가 그렇게 하기로 결정한 이유는 이것이 완전히 새로운 기술이며, 고수율 제조(high-yield manufacturing) 측면에서 내년에 우리가 보게 될 것을 검증하는 좋은 방법이기 때문입니다.” ®
