신뢰할 수 있는 에지 인텔리전스를 위한 확률적 메모리
요약
확률적 계산의 효율성을 높이기 위해 분포 파라미터와 샘플을 직접 저장하는 통합 메모리 프리미티브인 p-MEM을 제안합니다. p-MEM은 기존 방식 대비 높은 처리량과 낮은 지연 시간, 에너지 효율을 제공하여 신뢰할 수 있는 에지 인텔리전스 구현을 지원합니다.
핵심 포인트
- 확률적 메모리(p-MEM)를 통한 가우시안 난수 생성 오버헤드 해결
- 1000 GSa/s/mm^2 이상의 높은 GRNG 처리량 달성
- 베이지안 신경망 워크로드에서 에너지 소비 및 지연 시간 대폭 감소
- 에지 인텔리전스를 위한 확장 가능한 하드웨어 기질 제공
확률적 계산 (Probabilistic computation)은 불확실성을 정량화하고, 강건성 (robustness)을 향상하며, 데이터를 재구성하고, 프라이버시를 보호함으로써 신뢰할 수 있는 에지 인텔리전스 (edge intelligence)에서 중요한 역할을 하지만, 가우시안 난수 생성 (Gaussian random number generation, GRNG)과 계산 사이의 수십 배에 달하는 데이터 처리량 격차 및 명령어 오버헤드로 인해 도입이 제한적입니다. 본 논문은 평균 및 표준 편차와 같은 분포 파라미터 (distribution parameters)와 샘플을 네이티브 메모리 대역폭 (native memory bandwidth)에서 직접 저장하는 통합 메모리 프리미티브 (memory primitive)인 확률적 메모리 (probabilistic memory, p-MEM)를 소개하며, 여기서 결정론적 데이터 (deterministic data)는 분산이 0인 특수 사례가 됩니다. 레이아웃 검증된 p-MEM 시뮬레이터를 사용하여, 우리는 장치 선택, 메모리 사양 및 기술 노드를 포괄적으로 탐색하였으며, p-MEM이 메모리 어레이 (memory-array) 액세스를 포함하여 1000 GSa/s/mm^2 이상의 GRNG 처리량을 달성할 수 있음을 보여줍니다. CPU/GPU 시스템에 통합된 p-MEM은 베이지안 신경망 (Bayesian neural network) 워크로드에 대해 명령어 수를 최대 2.19배/4.37배, 샘플링 지연 시간 (sampling latency)을 562배/3.45배, 에너지 소비를 295.5배/3.53배 감소시켜, 신뢰할 수 있는 확률적 AI를 위한 확장 가능한 하드웨어 기질 (hardware substrate)을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기