노이즈에 강한 양자 회로 최적화를 위한 리플레이 버퍼 엔지니어링

양자 회로 최적화를 위한 심층 강화 학습(Deep Reinforcement Learning, RL)은 세 가지 근본적인 병목 현상에 직면합니다. 첫째는 시간차(Temporal-Difference, TD) 목표의 신뢰도를 무시하는 리플레이 버퍼(replay buffers), 둘째는 매 환경 단계마다 전체 양자-고전 평가(quantum-classical evaluation)를 유발하는 커리큘럼 기반 아키텍처 탐색(curriculum-based architecture search), 셋째는 하드웨어 노이즈 하에서 재학습 시 노이즈가 없는 궤적(noiseless trajectories)을 일상적으로 폐기하는 문제입니다. 우리는 리플레이 버퍼를 양자 최적화를 위한 주요 알고리즘 레버로 취급함으로써 이 세 가지 문제를 모두 해결합니다.

우리는 ReaPER$+$, 즉 어닐링된(annealed) 리플레이 규칙을 도입했습니다. 이는 훈련 초반에는 TD 오차 기반 우선순위 지정(TD error-driven prioritization)에서 가치 추정치가 성숙함에 따라 신뢰도 인식 샘플링(reliability-aware sampling)으로 전환되며, 고정 PER, ReaPER 및 균일 리플레이 대비 $4-32$배의 샘플 효율성 향상을 달성했습니다. 또한 양자 컴파일 및 QAS 벤치마크 전반에서 일관되게 더 간결한 회로를 발견합니다. LunarLander-v3에 대한 검증은 이 원리가 도메인 불가지론적(domain-agnostic)임을 확인시켜 줍니다. 나아가, OptCRLQAS를 도입하여 커리큘럼 RL의 양자-고전 평가 병목 현상을 제거했습니다. 이는 값비싼 평가들을 여러 아키텍처 편집에 걸쳐 분산 처리(amortizes)함으로써, 12-큐비트 최적화 문제에서 에피소드당 실시간 시간을 최대 $67.5$% 단축시키면서도 솔루션 품질을 저하시키지 않았습니다. 마지막으로, 네트워크 가중치 전이(network-weight transfer)나 $ ext{E}$-greedy 사전 훈련 없이 노이즈가 없는 궤적을 재사용하여 노이즈 환경 설정 학습을 시작하는 경량의 리플레이 버퍼 전이 방식(lightweight replay-buffer transfer scheme)을 도입했습니다. 이는 6-, 8-, 및 12-큐비트 분자 작업에서 처음부터 시작하는 기준선 대비 화학적 정확도(chemical accuracy)까지 도달하는 단계를 최대 $85-90$% 줄이고 최종 에너지 오차를 최대 $90$% 감소시켰습니다.

종합적으로, 이러한 결과들은 경험 저장(experience storage), 샘플링(sampling), 그리고 전이(transfer)가 확장 가능하고 노이즈에 강한 양자 회로 최적화를 위한 결정적인 레버임을 확립합니다.