Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
온라인 RL 미세 조정 시 Q-함수의 사전 학습 필요성을 연구한 논문입니다. 기존의 Q-함수 사전 학습이 정책 불일치로 인해 효과가 낮음을 밝히고, 정책 앙상블을 통한 초기화(IPE) 방식을 제안하여 성능을 개선했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기사전 학습(Pre-training) 후 미세 조정(Fine-tuning)을 수행하는 방식은 성능이 뛰어난 정책(Policy)을 학습하기 위한 지배적인 레시피가 되었으며, 가치 기반 강화학습 (Value-based RL)에서는 다음과 같은 자연스러운 의문이 제기됩니다. 사전 학습된 정책이 주어졌을 때, Q-함수(Q-function) 또한 오프라인 데이터로 사전 학습되어야 하는가? 통념상으로는 그래야 한다고 하지만, 최근 연구 결과에 따르면 무작위로 초기화된(Randomly-initialized) Q-함수를 사용한 온라인 RL만으로도 Q-함수의 사전 학습 없이 매우 성능이 뛰어나고 신뢰할 수 있는 정책을 도출할 수 있음을 보여줍니다. 본 논문에서는 사전 학습된 베이스 정책(Base policy) 위에서 미세 조정을 수행할 때, Q-함수를 사전 학습하는 것이 실제로 도움이 되는지를 체계적으로 연구합니다. 놀랍게도, 우리는 단순한(Naive) Q-함수 사전 학습이 무작위 초기화에 비해 큰 이점을 제공하지 못하는 경우가 많다는 것을 발견했습니다. 우리는 이것이 근본적인 불일치(Mismatch)에서 기인함을 보여줍니다. 즉, 사전 학습 중에 학습된 Q-함수는 온라인 미세 조정이 수렴하게 될 Q-함수가 아니라, 사전 학습된 정책의 Q-함수를 목표로 하기 때문이며, 이러한 격차는 오프라인 가치 극대화(Offline value maximization) 이후에도 지속됩니다. 이러한 발견에 착안하여, 우리는 정책 앙상블을 통한 초기화 (Initialization via Policy Ensemble, IPE)를 제안합니다. 이는 여러 개의 다양한 정책을 학습시키고, 이들의 풀링된 롤아웃(Pooled rollouts)을 사용하여 온라인 RL에서 Q-함수 학습을 부트스트랩(Bootstrap)하는 간단한 방법입니다. 도전적인 연속 제어(Continuous control) 벤치마크 세트 전반에 걸쳐, IPE는 단순한 Q-함수 사전 학습보다 미세 조정 성능을 평균 1.26배 향상시켰습니다.