적절한 활성화 함수를 사용하면 신경망이 생명 게임(Game of Life) 역학을 학습하기 훨씬 쉬워진다: 다항식

이전 연구들은 Conway의 생명 게임(Conway's Game of Life)을 안정적으로 학습하는 신경망의 규모와, 하드코딩된 매개변수 값으로 고전적인 셀룰러 오토마타(cellular automaton)를 표현할 수 있는 최소 규모의 신경망 사이에 격차가 있음을 발견했습니다. 신경망 학습을 탐색 과정(search process)으로 보는 관점은, 실제로 작업을 학습하는 운 좋은 초기화(때때로 'winning tickets'라고 알려진)를 가진 하위 네트워크를 포함할 수 있을 만큼 충분히 큰 네트워크에 대한 의존성을 시사합니다. 본 연구에서 우리는 생명 게임의 규칙을 발견하는 것을 탐색 문제로 보던 관점에서 다시 학습 문제로 재지향하며, 적절한 귀납적 편향(inductive biases)이 있다면 이 문제가 최소 규모의 네트워크로도 훨씬 더 수월해질 것이라고 추론합니다. 우리는 여러 대안적인 활성화 함수(activation functions)를 가진 네트워크 변형들이 기본 선택지인 ReLU (Rectified Linear Units)보다 유의미하게 뛰어난 성능을 보인다는 것을 발견했으며, 특히 2차 다항식 활성화 함수(2nd degree polynomial activation function)가 신경망 가중치(neural weights) 학습의 이점 여부와 상관없이 일관되게 생명 게임의 역학을 학습한다는 것을 확인했습니다. 우리의 결과는 학습을 당면한 과제에 맞추는 것의 이점을 유익하게 보여주며, 모든 문제에 대해 규모를 쉽게 기본값으로 선택하는 방식에 도전합니다. 특히, 우리는 과학을 위한 머신러닝, 물리 기반 딥러닝(physics-based deep learning), 그리고 해석 가능한 머신러닝(interpretable machine learning)에 도움이 될 수 있는 전략을 개발하기 위한 단순한 테스트 도메인으로서 셀룰러 오토마타(cellular automata)의 사용을 옹호합니다.