DRAM이 필요할까요? 우리는 광섬유를 가지고 있습니다
요약
본 논문은 생성형 AI의 메모리 요구 증가에 대응하여, 광학 섬유를 활용한 새로운 아키텍처인 Fiber Memory를 제안합니다. 이 시스템은 LLM 가중치와 같은 불변 데이터를 위한 지연 라인 메모리로 기능하며, 기존 HBM3e 대비 에너지 효율성을 크게 개선할 수 있음을 입증했습니다.
핵심 포인트
- 광학 섬유 기반의 Fiber Memory 아키텍처를 제안함.
- LLM 가중치 스토리지를 위한 능동적 지연 라인 메모리로 활용 가능.
- 기존 HBM3e 대비 가중치 전달 에너지를 70% 이상 절감할 수 있음.
- MCFs, CPO 등 최신 광학 기술을 통합하여 구현함.
DRAM 가용성 및 계약 가격에 대한 높아지는 압력은 생성형 AI의 막대한 고성능 메모리 요구 사항을 반영합니다. 이러한 압력은 현재 글로벌 DRAM 생산량의 상당 부분을 소비하는 하이퍼스케일 데이터 센터 확장으로 인해 더욱 심화됩니다. 본 논문에서는 광학 섬유가 하이퍼스케일 데이터 센터에서 수행하는 역할을 재구상한 새로운 아키텍처인 Fiber Memory를 제안합니다. 이는 대규모 언어 모델(LLM) 가중치와 같은 불변 데이터를 위한 능동적이고 순환하는 지연 라인 메모리(delay-line memory)로 광학 섬유를 배치합니다. 우리는 광섬유의 물리적 현실을 고려한 데이터 병렬 광 브로드캐스트 지연 라인 메모리 아키텍처를 제시합니다. 공간 분할 다중화된 멀티코어 광섬유(MCFs), 수동 광 탭-앰프리파이 인터페이스, 공동 패키지 옵틱스(CPO), 그리고 지역적 전용 광 재생을 통합하여, 우리의 사례 연구 평가는 Fiber Memory가 10,000개의 AI 가속기에서 중복된 가중치 스토리지를 제거하고 기존 HBM3e 구성 대비 가중치 전달 에너지를 70% 이상 줄일 수 있음을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기