강화학습 (Reinforcement learning, RL) 기반 알고리즘은 최근 적응 제어 광학 (Adaptive optics, AO) 제어를 위한 유망한 접근 방식으로 부상했습니다. 시뮬레이션과 실험실 환경에서 이들은 광자 및 검출기 노이즈, 정렬 불량 (misregistration), 진동, 그리고 시잉 (seeing) 조건의 급격한 변화와 같은 실제 환경의 영향에 대해 강건함 (robustness)을 입증해 왔습니다. 그러나 이들의 성능은 아직 실제 하늘(on-sky)에서 검증되지 않았습니다. 본 논문에서는 Policy Optimization for AO (PO4AO)라고 명명된 적응 제어 광학을 위한 강화학습 제어기의 첫 번째 천체 관측 시연을 보고합니다. 나아가 우리는 PO4AO의 천체 관측 동작을 분석하고, 알고리즘 및 구현을 개선하기 위한 방향을 식별합니다.

PO4AO는 OHP의 1.52 m 망원경 (T152) Coudé 초점에 설치된 Papyrus 적응 제어 광학 시스템에 구현 및 배치되었습니다. Python 기반 구현체는 공유 메모리 버퍼 (shared-memory buffers)를 통해 기존 실시간 제어기 (DAO RTC)와 인터페이스되었습니다. PO4AO의 성능은 다양한 플럭스 (flux) 수준과 대기 조건을 아우르는 여러 밤 동안 표준 적분기 제어기 (standard integrator controller)와 비교되었습니다. PO4AO는 테스트된 모든 구성에서 표준 적분기보다 일관되게 우수한 성능을 보였습니다. 이 제어기는 진동 패턴을 성공적으로 학습하고 보상하였으며, 측정 노이즈에 대해 강력한 강건함을 입증했습니다. Papyrus에 맞춰 튜닝된 후, PO4AO는 변화하는 관측 조건과 과학적 목표물 전반에 걸쳐 단일 하이퍼파라미터 (hyperparameters) 세트를 사용하여 즉시 사용 가능한 (turnkey) 방식으로 작동했습니다. 이러한 성능 향상은 최적화되지 않은 Python 구현으로 인해 약 $750,μ\text{s}$의 추가 지연 시간 (latency)과 제어 지터 (control jitter) 및 간헐적인 프레임 드롭이 발생했음에도 불구하고 달성되었습니다. 적절하게 구현되고 최적화된다면, PO4AO는 단일 공액 적응 제어 광학 (single-conjugate adaptive optics) 시스템을 위한 강력하고 고성능인 즉시 사용 가능한 제어기를 구성하며, 실제 천체 관측 AO 운영에서 강화학습 전략의 광범위한 채택을 위한 길을 열어줍니다.