Skymizer Taiwan Inc., 단일 카드 기반 초대형 LLM 추론을 가능하게 하는 획기적인 아키텍처 공개
요약
Skymizer Taiwan Inc.가 HTX301 칩과 384GB 메모리를 탑재한 단일 PCIe 카드를 공개하며, 기존 GPU의 한계를 뛰어넘는 혁신적인 LLM 추론 아키텍처를 제시했습니다. 이 시스템은 전력 소모 약 240W로 700B 파라미터 규모의 초대형 모델을 로컬에서 구동할 수 있게 합니다. 특히, 메모리 대역폭 집약적인 디코딩(decode) 작업을 전담하고 GPU는 계산 집약적인 프리필(prefill)에만 집중하도록 역할을 분리하여 효율성을 극대화했습니다.
핵심 포인트
- 단일 PCIe 카드 기반으로 700B 파라미터급 초대형 LLM 추론이 가능해졌습니다.
- 전통적인 GPU와 달리, 이 아키텍처는 디코딩(decode) 작업을 전담하여 메모리 대역폭 병목 현상을 해결합니다.
- GPU는 계산 집약적인 프리필(prefill)에만 집중하고, 나머지 모델 가중치 및 디코딩은 별도의 카드에서 처리하여 효율성을 높였습니다.
- 이 솔루션은 거대한 VRAM을 가진 그래픽 카드를 필수로 요구하지 않아 배포의 유연성을 확보했습니다.
기사 발췌:
>HTX301 칩 6 개와 384 GB 의 메모리를 탑재한 단일 PCIe 카드 — 를 통해 기업들은 이제 약 240W(카드당) 의 전력 소모로 로컬에서 700B 파라미터 규모의 모델 추론을 실행할 수 있습니다.
실제 세계의 추론 지연 시간을 지배하는 메모리 대역폭 집약적인 토큰 생성 (token generation) 작업에 대해 기존 GPU 는 계산 집약적인 프리필 (prefill) 을 처리하고, HTX301 카드는 디코딩 (decode) 을 담당합니다. 각 실리콘이 해당 단계에 맞춰 최적화되어 있습니다.
이는 매우 흥미로운 접근 방식입니다.
GPU 는 프리필 단계만 처리할 뿐이며, 모델 가중치와 디코딩을 포함한 나머지 모든 작업은 이 카드에서 완전히 수행됩니다. 이를 통해 거대한 수십억 파라미터 규모의 모델을 실행하면서도 거대한 VRAM 을 탑재한 그래픽 카드를 쫓아다니는 필요 없이도 가능합니다.
실제 제품 성능이 현실 세계에서 어떻게 발휘될지는 6 월 초 컴퓨텍스 (Computex) 에서 확인해야 할 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기