영아의 자발적 움직임 노이즈가 심층 강화학습 (Deep RL)의 탐색을 개선한다

심층 강화학습 (Deep RL)에서의 탐색 (Exploration)은 일반적으로 시간적으로 상관관계가 없는 백색 소음 (white noise)으로 구현됩니다. 그러나 최근 연구들은 시간적으로 상관관계가 있는 유색 소음 (colored noise)이 상태 공간 (state space)을 더 잘 커버하는 매끄러운 궤적을 생성함으로써 탐색 효율을 개선할 수 있음을 보여줍니다. 우리는 영아의 자발적 움직임에서 영감을 얻은 액션 노이즈 (action noise)가 심층 강화학습 (Deep RL)의 탐색을 개선할 수 있는지 조사합니다. 우리는 아기들의 말단 장치 (end-effector) 속도의 전력 스펙트럼 밀도 (power spectral densities)가 연령에 따라 스펙트럼 지수 (spectral exponent)가 증가하는 유색 소음 프로세스를 따른다는 것을 발견했습니다. 이러한 발달 패턴에 영감을 받아, 우리는 영아의 통계적 특성에 맞춰 강화학습 (RL) 훈련 동안 탐색 노이즈의 시간적 자기상관 (temporal auto-correlation)을 점진적으로 증가시키는 메커니즘을 도입합니다. 여러 강화학습 (RL) 환경에 걸친 실험 결과, 영아에서 영감을 얻은 노이즈는 구조화된 탐색 행동을 생성하며 기존의 탐색 전략과 비교하여 학습 효율을 개선할 수 있음을 보여줍니다. 이러한 발견은 인간의 운동 및 인지 발달이 인공 에이전트의 학습 메커니즘을 설계하는 데 유용한 지침을 제공할 수 있음을 시사합니다. 우리의 코드는 https://github.com/trieschlab/baby-noise-rl 에서 확인할 수 있습니다.