강화학습 기반 콘텐츠 생성기를 위한 지역적 제약 조건 학습

Wave Function Collapse (WFC)와 같이 기존 콘텐츠로부터 지역적 제약 조건 (local constraints)을 학습하는 제약 기반 게임 콘텐츠 생성기는 시각적으로 만족스러운 게임 레벨을 생성할 수 있지만, 플레이 가능성 (playability)과 같은 전역적 속성 (global properties)을 보장하는 데 어려움을 겪습니다. 반면, 강화학습 (reinforcement-learning)으로 훈련된 생성기는 이러한 속성들이 보상 함수 (reward functions)에 쉽게 포함될 수 있기 때문에 전역적 속성을 보장할 수 있지만, 결과물이 시각적으로 만족스럽지 않을 수 있습니다. 본 논문에서는 이러한 방법들을 결합하는 방법을 탐구합니다. 구체적으로, 우리는 WFC에 의해 학습된 제약 조건으로 PCGRL 생성기의 행동 공간 (action space)을 제약하여, PCGRL 생성기가 지역적 제약 조건을 준수하도록 강제하면서도 전역적 속성을 달성할 수 있도록 효과적으로 지원합니다. 이 하이브리드 콘텐츠 생성 방법이 어떻게 작동하는지 더 잘 분석하기 위해, 우리는 입력의 수와 유형을 변화시키며, 시작 상태를 무작위로 붕괴 (collapse)시키는지와 희귀 패턴을 제외할지 여부를 테스트합니다. 이 방법은 하이퍼파라미터 튜닝 (hyperparameter tuning)에 민감하지만, 우리가 훈련시킨 생성기 중 최상의 모델은 Lode Runner 레벨과 같이 원하는 전역적 속성을 가진, 시각적으로 만족스럽고 플레이 가능한 퍼즐 플랫폼 게임 레벨을 생성합니다.