World model은 일반적으로 모델 기반 강화학습(MBRL) 시스템의 구성 요소로 평가되며, World model 자체는 독립적으로 연구되는 경우가 드뭅니다. 우리는 Atari Pong에서 대표적인 5가지 시각적 World model 에이전트인 DreamerV3, DIAMOND, TWISTER, Simulus, 그리고 STORM을 검토합니다. 이들의 학습 파이프라인을 재현하고 보고된 에이전트 성능과 일치시킨 후, 학습된 World model을 고정(freeze)시키고 폐쇄 루프 롤아웃 진단(closed-loop rollout diagnostic)으로 평가합니다. 즉, 해당 MBRL 에이전트와는 별도로 훈련된 정책이 각 고정된 모델과 상호작용하며, 생성된 비디오 궤적을 시각적 및 동역학적 오류가 있는지 검사합니다. 다섯 가지 모델 모두에서 롤아웃에는 공의 사라짐, 잘못된 공의 움직임, 그리고 유효하지 않은 공-패들 상호작용을 포함한 명확한 실패 사례들이 발견됩니다. 시각적 궤적 외에도, 우리는 픽셀 공간 제로샷 MBRL(pixel-space zero-shot MBRL)로 추가 평가합니다. 여기서 새로운 정책이 고정된 World model 내부에서 완전히 훈련된 후 실제 환경에서 평가됩니다. 다섯 가지 모델 모두에서 결과적인 정책들은 해당 원래의 MBRL 학습 파이프라인으로 생성된 것들보다 현저히 낮은 성능을 보입니다. 이러한 격차는 특히 DreamerV3에서 크게 나타나, 평균 리턴이 -5.5에서 Pong의 최소 리턴인 -21에 가까운 -20.9로 떨어집니다. 우리는 Pong에서 공과 같은 작업에 중요한 개념(task-critical concepts)을 충분히 모델링하지 못하는 것이 이러한 실패에 기여할 수 있다고 가정합니다. 따라서 우리는 분할된 개념 영역에 적용되는 보조 픽셀 재구성 손실인 개념 기반 공간 정규화(Concept-Guided Spatial Regularization, CGSReg)를 제안합니다. 실험 결과는 CGSReg가 DreamerV3, DIAMOND, 그리고 TWISTER에서 폐쇄 루프 롤아웃과 픽셀 공간 제로샷 MBRL 모두를 개선한다는 것을 보여줍니다. 다만 그 효과는 나머지 모델들과 평가 지표들마다 달라, CGSReg만으로는 모든 World model 병목 현상을 해결하지 못함을 나타냅니다.