확장 가능하고 에너지 효율적인 아날로그 순환 연산을 위한 하드웨어-소프트웨어 공동 설계 (Hardware-Software Co-Design)

환경 센서부터 생체 의학 임플란트에 이르기까지, 항상 켜져 있는 (Always-on) AI 애플리케이션은 초저전력 소비를 요구합니다. 아날로그 회로는 서브 마이크로와트 (sub-microwatt) 수준의 추론을 가능하게 하는 경로를 제공하지만, 기존의 아날로그 구현은 피드포워드 (feedforward) 구조로 제한되어 있습니다. 시간적 피드백 (temporal feedback)을 통한 노이즈 축적 때문에 이를 순환 역학 (recurrent dynamics)으로 확장하는 것은 비실용적인 것으로 간주되어 왔습니다. 우리는 하드웨어-소프트웨어 공동 설계 (hardware-software co-design)를 통해 이러한 장벽을 극복할 수 있음을 입증합니다. 구체적으로, 우리는 이산 값 출력 (discrete-valued outputs)과 히스테리시스 역학 (hysteretic dynamics)을 가진 순환 신경망 (RNNs)의 한 종류인 쌍안정 메모리 순환 유닛 (Bistable Memory Recurrent Units, BMRUs)이 제1원리 (first principles)로부터 설계된 초저전력 전류 모드 (current-mode) 아날로그 구현을 수용할 수 있음을 확인했습니다. 결과적으로 생성된 회로는 학습된 각 파라미터와 회로 소자 간의 일대일 대응 관계를 구축합니다. 이산 출력은 각 셀 경계에서 아날로그 노이즈를 최소 20배 억제하여, 아날로그 순환을 방해하던 노이즈 축적 문제를 해결합니다. 우리는 표현력 (expressivity)과 학습 가능성 (trainability)을 유지하면서 직접적인 대응을 가능하게 하기 위해, 고정된 임계값을 가진 제1사분면 동작을 위한 BMRUs를 재구성했습니다. 180 nm 상보성 금속 산화물 반도체 (Complementary Metal-Oxide-Semiconductor, CMOS)에서의 트랜지스터 레벨 시뮬레이션은 소프트웨어 예측과 회로 레벨 동작 사이의 거의 완벽한 일치를 보여주며, 이를 통해 소프트웨어 모델은 낮은 계산 비용으로 물리적 하드웨어의 고충실도 (high-fidelity) 시뮬레이터 역할을 수행합니다. 우리는 이러한 충실도를 활용하여 대규모 노이즈 내성 및 전력 스케일링 분석을 수행했습니다. 순환 구조를 추가하는 데 드는 전력 비용은 상태 차원 (state dimension)에 따라 선형적으로 증가하는 반면, 전체 전력을 지배하는 피드포워드 레이어는 이차적으로 증가합니다. 이는 순환 구조가 피드포워드 백본 (backbone) 대비 선형적인 한계 비용으로 추가됨을 의미합니다. 엔드 투 엔드 (end-to-end) 키워드 스포팅 (keyword spotting)은 RNN 코어에서 서브 마이크로와트 추론을 달성합니다.