불완전한 월드 모델(World Models)의 취약성 및 모델 착취(Model Exploitation)에 관한 연구

요약

본 연구는 강화학습의 월드 모델(World Models)에서 발생하는 모델 착취(Model Exploitation)에 대한 새로운 정의를 제안하고, 이것이 거대한 정책 집합에서 본질적으로 피할 수 없는 현상임을 증명합니다. 보상 해킹(Reward Hacking)과의 관계를 이론적으로 규명하며, 유한한 정책 집합에서도 모델 착취를 완전히 배제할 수 없음을 밝혀 안전한 계획(Safe Planning)을 위한 한계를 제시합니다.

핵심 포인트

• 모델 착취(Model Exploitation)에 대한 새로운 비형식적 정의 제안
• 거대한 정책 집합 내에서 모델 착취의 불가피성 증명
• 보상 해킹(Reward Hacking)과 모델 착취 간의 이론적 연결 고리 구축
• 모델 착취를 피할 수 있는 안전한 지평(Safe Horizon) 도출