월드 모델은 무엇을 잊어야 하는가? 지속적 적응을 위한 계층적 기억 유지

지속적 학습(Continual learning)은 이전에 본 데이터에 대한 성능 저하를 실패의 증거로 간주하는데, 이는 정확한 레이블이 무기한으로 정확하게 유지되는 정상적인 예측 목표를 가진 환경 설정에서 물려받은 관습입니다. 월드 모델(World models)은 이러한 조건을 만족하지 않습니다. 그들의 예측 목표는 변화하는 환경 자체이며, 따라서 획득 당시에는 정확했지만 나중에 거짓이 될 수 있는 지식은 결함이라기보다는 필요한 행동으로 폐기되어야 합니다. 비정상적인 참값(Non-stationary ground truth)은 개념 드리프트(concept drift) 문헌과 언어 모델의 시간적 사실성(temporal factuality)에서 잘 연구되었지만, 항상 수정되어서는 안 되는 지식을 인코딩해야 하는 독특한 월드 모델을 위해 공식화된 적은 없습니다. 우리는 지속적인 월드 모델이 물리 법칙이나 물체 영속성(object permanence)과 같이 절대 수정되어서는 안 되는 불변량(invariants)과 환경이 변하는 즉시 수정되어야 할 인스턴스 수준의 사실들을 분리하여, 불변 시간 척도별로 계층화된 기억 유지(retention stratified by invariance timescale)를 필요로 한다고 주장합니다. 표준적인 망각 측정 지표는 오래된 지식을 올바르게 수정한 월드 모델과 치명적 망각(catastrophic forgetting)을 겪은 월드 모델을 구별할 수 없으며, 결과적으로 고정된 모델에 가장 높은 순위를 매깁니다. 반면 기존의 물리 추론 벤치마크는 오직 고정된 체크포인트만을 평가합니다. 우리는 적응 스트림(adaptation stream) 전반에 걸쳐 수정 지연 시간과 함께 불변 회귀 테스트를 보고하는 차분 기억 유지(differential retention)를 제안합니다.