비전 기반 신경 피드백 시스템 검증을 위한 확률적 세계 모델

비전 기반 신경 피드백 시스템을 검증하려면 컨트롤러가 작용하는 관측값에 대한 모델이 필요합니다. 이러한 모델은 센서가 생성하는 변화를 포착하면서도 폐루프 분석에 용이해야 합니다. 생성적 적대 신경망(GANs)은 인식 대리물(perception surrogates) 역할을 해왔지만, 크고 복잡한 장면을 제대로 재현하지 못하며 검증하기 어렵습니다. 우리는 더 풍부한 클래스의 인식 대리물로서 확률적 세계 모델(stochastic world models)을 탐구합니다. 우리는 표준 검증기들이 경계하는 연산으로 구축된 물리적으로 근거 있는 잠재 변수(physically grounded latents)를 가진 세계 모델을 훈련시킵니다. 이 모델은 최대 130배 더 많은 매개변수를 가진 GAN 대리물보다 보유 프레임(held-out frames)을 더 충실하게 재현합니다. 이러한 대리물을 검증하기 위해, 우리는 반례 찾기(falsification), 적응적 정제(adaptive refinement), 기호적 분석(symbolic analysis), 그리고 역방향 분석(backward analyses)을 결합하는 절차를 개발했습니다. GAN 대리물이 사용된 비상 제동 벤치마크에서, 우리의 절차는 전체 상태 공간을 해결했으며, 이는 기존 최첨단 검증기가 해결하지 못한 부분의 38%에 해당합니다. 이전에 어떤 검증 결과도 보고되지 않은 RGB 버전의 벤치마크에서는, 세계 모델 대리물을 사용하여 상태 공간의 80% 이상을 해결했습니다.