강화학습 (Reinforcement Learning, RL) 에이전트는 로보틱스, 자율 주행, 드론 제어와 같이 예기치 않은 동작이 심각한 현실 세계의 결과로 이어질 수 있는 안전 중심 (safety-critical) 영역에 점점 더 많이 배치되고 있습니다. 퍼즈 테스팅 (Fuzz testing)은 최근 RL 에이전트의 방대한 상태 공간 (state spaces)을 탐색하고 충돌 (crashes)을 노출하기 위한 유망한 방법으로 부상했습니다. 수많은 RL 퍼징 (fuzzing) 방법들이 제안되었지만, 기존 연구들은 평가 설정, 베이스라인 (baselines), 그리고 지표 (metrics)가 서로 다른 경우가 많아, 이들의 상대적 효과와 실질적인 유용성에 대해 신뢰할 수 있는 결론을 내리기가 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 효과성 (effectiveness), 다양성 (diversity), 효율성 (efficiency), 그리고 실용적 유용성 (practical utility)이라는 네 가지 상호 보완적인 관점에서 RL 퍼징 방법들을 체계적으로 평가하는 최초의 종합적인 실증 연구를 제시합니다. 우리는 복잡도가 증가하는 세 가지 환경 (MountainCar, BipedalWalker, 그리고 CARLA)에 걸쳐 통일된 구성 하에 무작위 테스팅 (random testing)과 함께 다섯 가지 최첨단 (state-of-the-art) 방법들을 벤치마킹하며, 나아가 에이전트의 강건성 (robustness) 향상 및 안전 모니터링 (safety monitoring)을 위한 탐지된 충돌의 다운스트림 유용성을 평가합니다. 우리의 결과는 몇 가지 핵심적인 통찰을 보여줍니다. 예를 들어, MDPFuzz와 같이 처리량 (throughput) 중심의 방법들은 충돌 발견에 있어 우수한 효과성과 효율성을 입증하는 반면, SeqDivFuzz와 같이 탐색 (exploration)을 장려하도록 명시적으로 설계된 방법들은 다양한 충돌 동작을 찾아내는 데 탁월합니다. 또한 우리는 퍼징으로 생성된 충돌이 에이전트의 강건성을 의미 있게 향상시킬 수 있으며, 강력한 방법 간 일반화 (cross-method generalization)를 통해 정확한 안전 모니터링을 가능하게 한다는 것을 보여줍니다. 이러한 실증적 발견을 넘어, 우리는 연구자와 실무자 모두를 위한 실행 가능한 지침을 추출하여, 더욱 포괄적이고 실용적인 RL 테스팅을 달성하기 위해 상호 보완적인 퍼징 전략을 결합하고 다층적 다양성 분석 (multi-level diversity analysis)을 채택하는 것의 이점을 강조합니다.