Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 대규모 신경망 가중치 및 임베딩 벡터 저장을 위해 아날로그 중첩(superposition) 메모리 아키텍처를 제안합니다. 이 방식은 단일 메모리 배열에 여러 벡터를 인코딩하여 저장 밀도를 높이고, 물리적 셀 증가 없이 효율적인 데이터 저장이 가능하게 합니다. 프로토타입 상변화 메모리 칩 구현 및 실험 결과는 높은 추론 정확도를 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기인공 신경망의 증가하는 메모리 요구량은 에너지 효율적인 컴퓨팅에 주요한 과제를 제기하며, 특히 대규모 고차원 가중치 및 임베딩 벡터 컬렉션에 의존하는 모델에서 그러합니다. 기존 메모리 아키텍처는 이러한 벡터들을 개별적으로 저장하여, 벡터당 많은 수의 메모리 셀을 필요로 하고 달성 가능한 저장 밀도를 제한합니다. 본 논문에서는 단일 메모리 배열 내에서 여러 벡터를 분산된 중첩(superposition) 형태로 인코딩하는 아날로그 메모리 아키텍처를 시연합니다. 개별 벡터들은 메모리 내부 행렬-벡터 곱셈을 통해 복구될 수 있으며, 이를 통해 저장 밀도와 재현 충실도(recall fidelity) 간의 균형을 맞추기 위해 중첩 정도를 조정할 수 있습니다. 이 접근 방식은 아날로그 메모리를 위한 새로운 스케일링 차원을 도입하며, 물리적 메모리 셀의 증가 없이 효과적인 저장 밀도를 높일 수 있게 합니다. 또한 분산 표현은 장치 수준 노이즈에 대한 복원력도 제공합니다. 우리는 프로토타입 상변화 메모리 칩에 이 아키텍처를 구현하고, 딥러닝 추천 모델 및 대규모 언어 모델의 임베딩 테이블을 사용하여 실험적으로 평가했습니다. 그 결과는 추론 정확도가 전체 정밀도 소프트웨어 기준선과 비교할 만함을 보여주었으며, 아날로그 중첩이 인공지능을 위한 조밀하고 에너지 효율적인 메모리로 나아가는 유망한 경로임을 확립합니다.