부분 관측 가능한 강화학습 (Partially Observable Reinforcement Learning)에서 에이전트는 이중적인 병목 현상에 직면합니다. 즉, 보상이 있는 상태를 마주하기 위해 탐색 (Exploration)해야 하며, 정책 (Policy)을 최적화하기 위해 해당 경험을 메모리에 유지해야 합니다. 탐색 보너스 (Exploration bonuses)와 메모리 아키텍처 (Memory architectures)는 전통적으로 개별적으로 평가되어 왔으며, 이들의 상호작용은 측정되지 않은 채 남아 있습니다. 또한, 표준적인 희소 보상 (Sparse reward) 개념은 시간적 신호 밀도 (Temporal signal density)와 보상이 실제로 감독하는 대상 (What the reward actually supervises)을 혼동합니다. 본 연구에서는 메모리 내용이 획득되는 방식이 서로 다른 세 가지 환경에서 에피소드 탐색 보너스와 다양한 신경망 메모리 아키텍처를 교차시킨 통제된 연구를 제시합니다. 동일한 보너스 신호는 세 가지 뚜렷한 상호작용 패턴을 생성합니다: 메모리 내용이 비지도 방식 (Unsupervised)으로 능동적으로 발견되고 유지되어야 하는 경우 아키텍처의 용량 차이를 증폭시키고, 일단 찾아낸 내용이 단일한 보상 감독 단서 (Reward-supervised cue)가 되는 경우에는 아키텍처들을 공유된 상한선 (Shared ceiling)으로 평준화하며, 관측 스트림 (Observation stream)이 순수하게 스케줄링된 경우에는 효과가 무효화됩니다. 통제된 보상 조작을 통해 이러한 패턴이 밀도가 아닌 보상 구조 (Reward structure)를 따른다는 것을 검증했습니다. 즉, 밀도가 높은 보상은 필요한 잠재적 메모리 (Latent memory)를 직접 감독하는 경우에만 보너스를 무력화하며, 탐색적 행동에 대한 작지만 피할 수 있는 페널티(최적해는 변경하지 않음)는 정책이 차선책인 정적 상태 (Suboptimal stationary states)로 수렴하게 만드는데, 보너스는 이를 해결합니다. 그런 다음 우리는 관측 기반 보상 머신 (Observation-anchored reward machines)을 통해 보상 희소성 (Reward sparsity)을 공식화하여, 구조적 희소성 (Structural sparsity, 오토마톤이 작업에 필요한 이력 없이 리턴을 재현하는 경우)과 잠재적 희소성 (Potential sparsity, 1단계 보상이 국소적 탐색 행동의 가치를 잘못 책정하는 경우)을 분리합니다. 결과적으로 도출된 어휘는 각 작업이 노출하는 유지 부담 (Retention burden)에 따라 세 가지 체제 (Regimes)를 정리합니다. 종합하면, 이러한 결과는 탐색과 메모리가 대체재가 아닌 상보적 관계임을 보여줍니다. 즉, 보너스는 노출 (Exposure)을 유도하며, 오직 메모리만이 그 노출을 리턴 (Return)으로 전환합니다.