과학자들은 "뜨거운" Ising 머신(Ising machines)을 일반적인 역전파 (backprop) 방식으로 학습시켜 일반적인 신경망 (neural networks) 수준의 정확도를 얻을 수 있음을 보여주었습니다.

연구팀은 열역학적 컴퓨팅 장치를 위한 합성곱 신경망 (convolutional networks)을 표준적인 오차 역전파 (backpropagation) 방법으로 학습시켜, CIFAR-10에서 94.9%, CIFAR-100에서 76%의 정확도를 얻었다는 연구 결과를 발표했습니다. 이는 이미지 분류의 기록적인 수치는 아닙니다. 일반적인 GPU는 이미 오래전에 이 수치들을 넘어섰습니다. 가치는 다른 곳에 있습니다. 이 수치들은 트랜지스터의 스위칭이 아닌 열 잡음 (thermal noise)을 통해 계산이 이루어지는 Ising 모델 기반의 하드웨어용으로 물리적으로 설계된 모델에서 얻어졌다는 점입니다.

열역학적 컴퓨팅 (thermodynamic computing)의 아이디어는 새로운 것이 아닙니다. 연결된 이진 요소들로 구성된 시스템을 가져와 Gibbs 평형 상태에 도달할 때까지 열적으로 "냉각"시킨다면, 해당 시스템의 시간 평균 동작을 신경망의 순전파 (forward pass)로 해석할 수 있습니다. 이론은 오래전부터 이를 예측해 왔지만, 실제 작업에 적합한 규모로 모델을 학습시키는 것은 제대로 이루어지지 않았습니다. 이상적인 물리학과 실제적인 훈련 사이클 사이의 간극을 메우는 비용이 너무 많이 들었기 때문입니다.

저자들은 구체적인 처방을 제안합니다. Gibbs 샘플링 (Gibbs sampling)과 신경망 추론 (neural inference) 사이의 이론적 일치성을, 매 단계마다 이색적인 물리 시뮬레이션을 거치는 대신 익숙한 역전파 (backprop)를 통해 작동하는 학습 가능한 알고리즘으로 변환하는 것입니다. 이들은 별도로 추론 비용(시스템이 "샘플링"하는 데 필요한 시간)과 최종 정확도를 연결하는 수학적 모델을 도출했으며, 자기상관 시간 (autocorrelation time) — 즉, 열역학적 칩이 이전 구성(configuration)을 얼마나 빨리 잊고 새로운 독립적인 샘플을 생성하는지를 제어하는 방법도 익혔습니다.

여기에 진정한 공학적 질문이 숨어 있습니다. 시스템이 샘플링 (sampling)을 오래 할수록 답변은 더 정확해지지만, 계산 비용은 더 비싸집니다. 그런데 열역학적 AI (thermodynamic AI)의 핵심 아이디어는 바로 에지 장치 (edge devices)에서의 저렴한 비용과 낮은 에너지 소비에 있었습니다. 저자들은 이 절충안 (trade-off)이 임의적인 것이 아님을 보여줍니다. 즉, 추론 (inference) 비용은 예측 가능한 점근적 특성 (asymptotics)에 의해 제한되며, 눈대중으로 추측하는 대신 최적의 샘플링 스케줄을 구축할 수 있다는 것입니다. 이는 열역학적 칩을 단순한 아름다운 물리적 시연에서, 특정 에너지 예산과 지연 시간 (latency)에 맞춰 공학적으로 설계할 수 있는 무언가로 탈바꿈시킵니다.

현재로서는 실제 테이블 위에 놓인 완성된 실리콘이 아니라 시뮬레이션과 이론적 전개에 관한 단계입니다. 논문은 이미 작동 중인 하드웨어가 아니라 오직 "하드웨어 발전을 위한 함의 (implications for hardware development)"에 대해서만 직접적으로 언급하고 있습니다. 또한 CIFAR와의 비교는 실용적인 우월성을 주장하기보다는 개념 증명 (proof of concept)에 가깝습니다. 데이터셋이 작으며, 일반적인 가속기 (accelerators)와의 경쟁에서 이 데이터셋을 차지하는 것은 이미 오래전에 열역학적 방식이 아닌 다른 방식들이 승리했기 때문입니다. 진정한 시험은 누군가가 이러한 원리에 기반한 칩을 제작하고, 장난감 수준의 분류 (classification)보다 더 큰 것을 실행할 때 시작될 것입니다.

그럼에도 불구하고, 이는 이징 머신 (Ising machines)의 물리학과 실질적인 딥러닝 (deep learning) 사이의 연결 고리를 선언적인 수준이 아니라, 정확도와 비용에 대한 보장을 갖춘 구체적인 알고리즘으로 메운 첫 번째 연구입니다. 이 주제를 추적하는 분들이라면 NASA ADS, Connected Papers의 인용 지도, 또는 Litmaps의 관계 매핑을 통해 세부 사항과 관련 출판물을 찾아볼 수 있습니다. 논문 프로필은 Google Scholar에도 있으며, 인용 데이터는 Semantic Scholar에서 확인할 수 있습니다. 코드와 재현 시도를 확인하고 싶은 분들에게는 보통 CatalyzeX가 유용합니다.

원문 게시지: arxiv.org