경사 하강법 (Gradient Descent)을 이용한 곱 네트워크 (Product Networks) 기반 고차원 패리티 함수 (Parity

패리티 함수 (Parity functions)는 머신러닝 (Machine learning), 암호학 (Cryptography), 그리고 오류 정정 (Error correction) 전반에 걸쳐 중요한 응용 분야를 가진 근본적인 불리언 연산 (Boolean operations)입니다. 그러나 고차원 패리티 함수를 학습하는 것은 상당한 어려움을 수반합니다. 일반적인 설정에서 표준 신경망 아키텍처 (Neural network architectures)는 통상적으로 지수적인 샘플 복잡도 (Exponential sample complexity)를 요구하며, 이로 인해 입력값의 수 $N$이 커질 경우 경사 기반 최적화 (Gradient-based optimization)가 실행 불가능해집니다. 본 연구에서는 확률적 데이터 희소성 (Stochastic data sparsity, $p_e \leq 1/N$인 Bernoulli inputs) 및 적절한 하이퍼파라미터 (Hyperparameter) 선택과 결합된 컴팩트한 곱 기반 신경망 아키텍처 (Compact product-based neural architectures)가 수렴에 대한 이론적 보장과 함께 효율적인 패리티 학습을 가능하게 함을 입증합니다. 실험을 통해 $N = 100,000$에 이르는 차원까지 우리의 이론을 검증하였으며, $p_e$ 및 학습률 (Learning rate) $\alpha$에 대한 최적의 하이퍼파라미터 선택과 다항식 복잡도 (Polynomial complexity) 스케일링 법칙 (Scaling laws)에 대한 실증적 증거를 제시합니다. 본 연구는 아키텍처의 귀납적 편향 (Architectural inductive bias)과 데이터 희소성 (Data sparsity) 사이의 근본적인 연결 고리를 구축하며, 신경 산술 (Neural arithmetic), 구조적 추론 (Structured reasoning), 이진 신경망 (Binary neural networks), 그리고 자동화된 프로토콜 발견 (Automated protocol discovery)에 적용되는 머신러닝 분야의 새로운 가능성을 제시합니다.