COOPO: 순환적 오프라인-온라인 정책 최적화 알고리즘

요약

COOPO는 오프라인 강화학습의 데이터 한계와 온라인 강화학습의 과도한 상호작용 문제를 동시에 해결하기 위한 순환적 정책 최적화 프레임워크입니다. KL 정규화 기반의 오프라인 업데이트와 온라인 미세 조정을 반복함으로써, 분포 드리프트와 파괴적 망각 문제를 방지하고 데이터셋 재사용을 극대화합니다. 이를 통해 온라인 샘플 효율성을 높이면서도 최종 성능을 향상시키는 효과를 입증했습니다.

핵심 포인트

• 오프라인 학습과 온라인 미세 조정을 반복하는 순환적(Cyclic) 구조를 통해 분포 드리프트 및 망각 문제 해결
• KL 정규화된 어드밴티지 가중 오프라인 업데이트를 사용하여 정책을 데이터셋에 안정적으로 고정
• 표준 커버리지 가정 하에서 이론적인 단조적 개선(monotonic improvement) 보장
• D4RL 벤치마크 결과, 기존 하이브리드 방식 대비 온라인 상호작용 감소 및 최종 리턴 향상 확인
• 다양한 오프라인 알고리즘 및 온라인 옵티마이저에 대해 높은 견고함 유지