온칩 신경망을 위한 다층 저항성 시냅스: 준연속적 전도도 상태를 갖는 멤리스티브 크로스바 패브릭의 물리 기반 설계

저항성 통신 (resistive communication)을 기반으로, 본 논문은 조밀한 전도도 (conductance) 상태 스펙트럼을 지원하는 다층 멤리스티브 시냅스 (memristive synapses)를 갖춘 온칩 신경망의 물리 기반 설계를 제시합니다. 이온 수송 물리 (ionic transport physics)에서 유도된 상태 변수 모델 (state-variable model)을 개발하고, 열 잡음 (thermal noise), 드리프트 (drift), 그리고 양자화된 전도도 (quantized conductance) 하에서 저장 가능한 하위 레벨을 정량화합니다. 우리는 이러한 소자들을 1T1R 크로스바 패브릭 (crossbar fabric)으로 조립하고, 배선 저항 (wire resistance) 하에서의 아날로그 벡터-행렬 곱셈 (VMM) 선형 대수를 유도하며, 부호 있는 가중치 (signed weights)를 위한 차동 시냅스 (differential synapse)를 설계합니다. 다층 파이프라인은 추론 (inference), 역전파 (backpropagation), 그리고 가중치 업데이트 (weight updates)를 아날로그 영역에서 물리적으로 실행합니다. 우리는 인시츄 외적 학습 규칙 (in-situ outer-product learning rule), 전도도 격자 (conductance lattice)로의 이산화, 그리고 그 결과로 발생하는 양자화 잡음 (quantization noise)을 유도합니다. 에너지, 면적, 용량 및 타일 간 모델 (inter-tile models)을 제공하여, 이 기판이 대규모 언어 모델 (LLMs)에 이상적으로 적합함을 보여줍니다. 우리의 설계는 가중치 이동을 제거하여, 이진 ReRAM 및 전통적인 CMOS를 능가합니다. 우리는 재료 스택 (HfO_2 기반), FEOL/BEOL CMOS 파운드리 통합 흐름, 독립형 SPICE 모델, 완전한 멤리스티브-FPGA 뉴로모픽 시스템, 그리고 전류 모드 트랜스리니어 소프트맥스 (current-mode translinear softmax)를 갖춘 인메모리 셀프 어텐션 엔진 (in-memory self-attention engine)을 상세히 설명합니다. 마지막으로, 삼진 BitNet 데이터패스는 고급 CPU 또는 GPU보다 수 자릿수 더 나은 예상 토큰당 효율성을 보여줍니다. 그 결과, 고밀도 아날로그 인메모리 신경 프로세서를 위한 자립형 하드웨어 네이티브 청사진이 완성되었습니다.