하나의 지표로부터의 저비용 검색 및 관측 크레딧 할당: 정보 가치의 활용

요약

본 글은 강화학습(RL) 메모리에서 발생하는 주의 집중 메커니즘의 비용 문제와 보상 크레딧 할당 문제를 '정보의 가치'라는 단일 지표로 해결하는 방법을 제안합니다. 학습된 세계 모델을 활용하여 아카이브 롤아웃으로부터 이 정보 가치를 추정하며, 이를 통해 최적 행동 하한값 설정 및 검색 시스템 개선이 가능함을 설명합니다.

핵심 포인트

• RL 메모리 문제를 '정보의 가치'라는 단일 지표로 통제할 것을 제안함.
• 학습된 세계 모델을 사용하여 아카이브 롤아웃으로부터 정보 가치를 추정함.
• 관측 시점 활용은 최적 행동에 대한 하한값을 제공하여 TD 목표값 설정에 기여함.
• 결정 시점 활용은 컨텍스트가 줄어든 메모리 작업을 위한 최적 검색 집합을 정의함.