역학(Dynamics)을 이용한 아날로그 하드웨어 상의 생성 모델

결합된 진동자(coupled oscillators) 및 아날로그 이징 머신(Analog Ising Machines)과 같은 아날로그 하드웨어 플랫폼은 디지털 연산 에너지 비용의 극히 일부만 사용하여 미분 방정식(differential equations)을 자연스럽게 해결하므로, 저전력 생성 모델링(generative modeling)에 매력적입니다. 그러나 근본적인 불일치가 존재합니다. 현대의 생성 모델은 유연하고 소프트웨어로 정의된 역학(dynamics)을 가정하는 반면, 아날로그 하드웨어는 근사 능력이 제한된, 물리적으로 결정된 고정된 미분 방정식을 강제합니다. 본 논문은 하드웨어로 구현 가능한 역학계(dynamical systems)를 위한 통합 프레임워크인 아날로그 상호작용 시스템(Analog Interaction Systems, AIS)을 소개하고, 신경망(neural network) 베이스라인 대비 이들의 표현력 격차(expressivity gap)를 경험적으로 특성화합니다. 이 격차를 좁히기 위해 두 가지 하드웨어 호환 메커니즘인 시변 구간별 매개변수(time-varying piecewise parameters)와 숨겨진 물리적 상태(hidden physical states)를 제안하며, 모델이 특정 궤적(trajectory)을 따를 필요 없이 학습할 수 있도록 하는 Wasserstein GAN 학습 절차를 개발했습니다. 우리는 연결 밀도(connection density) 및 정밀도(precision)에 따라 면적과 전력이 어떻게 확장되는지 특성화하며, 실질적인 구현을 위해서는 희소 연결성(sparse connectivity)과 저비트 너비 양자화 매개변수(low-bit-width quantized parameters)가 필요함을 보여줍니다. 또한 선택된 아키텍처에 대해 생성된 이미지당 23uJ의 에너지 비용을 추정하였으며, 이는 디지털 베이스라인 대비 2자릿수(2-orders-of-magnitude)의 개선을 나타냅니다. MNIST 및 Fashion-MNIST 데이터셋에서 우리의 진동자 기반 AIS는 4비트 희소 아키텍처(4-bit sparse architecture)를 사용하여 FID 점수 27.6 및 80.8을 달성하였으며, 이는 기존의 가장 우수한 하드웨어 구현 가능 아날로그 생성 모델보다 3~4배 뛰어난 성능을 보여줍니다.