사양이 낡아 보이는 건 2024년에 출시된 칩이기 때문임. Cirrascale을 비롯한 클라우드 업체에서 이용할 수 있음.
버려진 MI50과 V100까지 급히 꺼내 다시 쓰는 상황이라, 2024년 제품이면 미래 외계 기술처럼 느껴짐.
Qualcomm에 점점 기대를 걸게 됨. Snapdragon X2 Elite Extreme은 아쉽게도 한 시스템에서만 제공되지만, 패키지 내장 3채널 메모리로 228 GB/s를 내는 강력한 제품임. 다른 시스템에 들어가는 일반형도 코어 자체가 좋아서, Apple에는 못 미쳐도 최상위권 단일 코어 성능을 보여줌.
업스트림 기여도 훨씬 나아지고 있음. 실력 있고 잘 알려진 자유·오픈 소스 개발자들을 여럿 채용한 효과가 나타나는 듯함.
이제 차세대 핵심 기술로 High Bandwidth Compute를 내세우고 있음. 믿고 싶지만, 이 회사마저 소비자용 컴퓨팅을 완전히 뒷전으로 밀어내려는 건 아닌지 걱정됨. https://www.qualcomm.com/news/onq/2026/11/qualcomm-hbc-valid....
본문의 칩은 메모리 대역폭이 M4 Max 수준이라 인상적이지는 않음. 쓸 곳은 있겠지만, 최신 제품으로 내놓은 첫 승부수였다면 실망했을 것임.
저렴하게 구매할 수 있나 했더니, 개인 구매용은 아닌 듯함.
Cirrascale의 Ultra 카드 8개 서버는 카드당 128 GB 메모리와 시스템 RAM 512 GB를 갖추며, 월 단위 계약은 월 4,699달러, 연 단위 계약은 월 3,759달러임.
GPU별 클라우드 대여는 GPU당 시간당 5.15달러부터 시작함. 출처: https://cloud-gpus.com/qualcomm-ai-100-ultra/.
시간당 5달러라면 가성비가 형편없음. 그 가격이면 모든 면에서 훨씬 나은 H200을 빌릴 수 있는데 이상함.
가격이 얼마인가?
자체 웹사이트에 따르면 1센트임.
지금 로컬 AI를 돌리는 미니 PC보다 몇 배는 빠르니, 가격만 맞으면 구매하고 싶음.
5090보다는 저렴하길 바람.
지속적인 추론 부하에서 실제 메모리 대역폭이 사양표 수치에 비해 얼마나 유지되는지 궁금함.
설계가 꽤 흥미로움. 가속기에 SRAM 0.5 TB와 RAM 128 GB를 넣어, HBM은 SRAM으로 대체하고 일반 RAM은 유지하는 구조임.
테라바이트가 아니라 0.5 GB임.
메모리는 M4 Max Mac Studio 수준이고, 연산 성능은 GPU 한 개 수준이라는 뜻인가?
M4 Max와 비교한 건 Qualcomm이 아니라 위 댓글인 건 알지만, Qualcomm 제품이니 M2 Max보다 느리면서 M4 Max와 비교될 것 같음.
범용 카드로는 무난해 보임.
Apple M6보다 훨씬 못하면서 더 저렴한지도 알 수 없는 건가?
수정: 잘못 봤음. 대역폭은 낮지만 TOPS는 훨씬 높음. 다만 대역폭이 이렇게 낮을 때 높은 TOPS가 얼마나 효과를 낼지는 모르겠음.
연산 집약도를 높이면 됨. LLM 프리필에는 꽤 적합하며, 디코딩에서는 병렬성을 높여 같은 계층의 가중치를 여러 스트림에서 재사용하면 메모리 대역폭을 절약할 수 있음.
KV 캐시 제약 등으로 그렇게 할 수 없다면 추측 디코딩을 활용할 수 있음. 비용이 큰 검증 단계에서 단일 스트림의 여러 토큰을 병렬 처리하는 방식임. 낮은 대역폭만으로 이 플랫폼이 근본적으로 쓸모없어지는 것은 아님. 이미 연산 성능이 병목인 이미지·영상 생성 같은 작업에도 적합할 것임.
Apple M6는 80~100 TOPS인 반면, Qualcomm Cloud AI 100 Ultra는 800 TOPS로 거의 10배임.
최신 추론 스택은 디코딩과 프리필에 서로 다른 GPU를 사용함. 이 제품은 프리필에 적합한 GPU임.