JAXenstein: 1인칭 환경을 위한 가속화된 벤치마킹

강화학습 (Reinforcement Learning) 알고리즘의 발전은 도전적인 벤치마크 (Benchmarks)에 의해 추진되어 왔습니다. 연구자가 문제 설정에 대해 반복 (Iterate)할 수 있는 속도는 알고리즘 개발 속도에 직접적인 영향을 미칩니다. 현대의 머신러닝 (Machine Learning)은 JAX 라이브러리와 같이 빠르고 확장 가능한 알고리즘 개발을 가능하게 하는 도구들을 만들어냈습니다. 이러한 도구들이 사용 가능해짐에 따라, 알고리즘 개발의 심각한 병목 현상 (Bottleneck)은 실험을 위한 크고 복잡한 도메인 (Domains)의 가용성입니다. 특히, JAX 강화학습 (Reinforcement Learning) 생태계에는 시각적 1인칭 작업 (Visual first-person tasks)을 테스트하는 벤치마크가 전혀 없습니다. 이러한 도메인들은 탐색 (Exploration)과 부분 관측 가능성 (Partial observability)을 극복하는 에이전트 (Agent)의 능력을 모두 테스트하는 데 매우 중요합니다. 우리는 시각적 1인칭 작업에서 빠르고 확장 가능한 실험을 위해 Wolfenstein 3D 렌더링 엔진을 구현한 오픈 소스 JAX 기반 벤치마크인 JAXenstein을 소개합니다. JAXenstein은 유사한 비전 기반 (Vision-based) 벤치마크보다 몇 배 더 빠르며, 더 복잡한 1인칭 도메인으로 쉽게 확장할 수 있습니다.