복제하지 말고 브로드캐스트하라: 데이터센터 LLM 서비스에서 가중치 HBM 제거
요약
대규모 LLM 추론은 메모리 용량 및 대역폭 한계로 병목 현상을 겪습니다. 기존 아키텍처는 모델 가중치를 로컬 DRAM에 복제하여 막대한 자본 지출과 전력 소모를 초래합니다. 본 논문은 광 브로드캐스트 메모리(OBM)를 제안하며, 이를 통해 HBM을 제거하고 MoE 모델까지 효율적으로 서비스할 수 있음을 입증했습니다.
핵심 포인트
- LLM 추론의 병목 현상은 가중치 복제에 따른 CAPEX 및 전력 소모가 원인입니다.
- OBM은 광 링 패러다임을 대체하는 계층적 Tap-and-Amplify 아키텍처를 사용합니다.
- HBM 페타바이트의 제거와 동시에 처리량, 에너지 효율성에서 경쟁력을 보였습니다.
- 광학 브로드캐스트 방식 덕분에 MoE 모델을 효과적으로 서비스할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0