SVGym (SciVerseGym): 결정 구조 발견을 위한 강화학습 (RL) 및 베이지안 최적화 (Bayesian Optimization)

머신러닝 기반 원자간 포텐셜 (Machine-learned interatomic potentials)은 이제 상호작용형 재료 발견을 위한 효율적인 원자 단위 평가를 가능하게 하지만, 폐쇄 루프 (closed-loop) 결정 구조 탐색 방법은 편집, 완화 (relaxation), 점수 산정 (scoring), 제약 조건 (constraints) 및 기록 관리 (bookkeeping)를 위한 맞춤형 파이프라인 전반에 걸쳐 여전히 파편화되어 있습니다. 우리는 결정 구조 설계를 마르코프 결정 과정 (Markov decision process)으로 프레임화하여, 순차적 결정 구조 발견을 위한 Gymnasium 호환 환경인 SciVerseGym을 소개합니다. 에이전트 (Agent)는 원자 구조를 관찰하고, 화학적으로 의미 있는 편집을 적용하며, 설정 가능한 평가기 (evaluator)로부터 피드백을 받습니다. SciVerseGym은 원소 치환 (elemental substitution), 격자 섭동 (lattice perturbation), 원자 변위 (atomic displacement), 공공 생성 (vacancy creation) 및 원자 삽입 (atom insertion)을 포함한 국소적 및 전역적 액션 (local and global actions)을 지원하며, 설정 가능한 화학 공간 (chemical spaces), 구조 풀 (structure pools), 원자 및 그래프 기반 관찰 (atomistic and graph-based observations), 사용자 정의 보상 (custom rewards), 선택적 완화 (optional relaxation), 그리고 안정성 또는 포논 (phonon) 관련 진단 기능을 제공합니다. 각 단계는 편집을 적용하고, 머신러닝 기반 원자간 포텐셜 또는 모든 ASE 호환 계산기 (ASE-compatible calculator)를 사용하여 후보를 평가하며, 표준 (obs, reward, terminated, truncated, info) 튜플을 반환합니다. 에이전트 로직을 재료 인프라로부터 분리함으로써, SciVerseGym은 폐쇄 루프 결정 구조 발견 분야에서 강화학습 (reinforcement learning), 베이지안 최적화 (Bayesian optimization), 진화 탐색 (evolutionary search) 및 언어-에이전트 (language-agent) 워크플로우를 위한 개방적이고 재현 가능하며 확장 가능한 테스트베드를 제공합니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/Bin-Cao/SciVerseGym.