오프라인에서 온라인 강화학습을 위한 이산 흐름 매칭(Discrete Flow Matching)

요약

본 논문은 이산 액션 공간을 가진 강화학습(RL) 작업에서 온라인 미세 조정을 수행하는 새로운 방법인 DRIFT를 제안합니다. DRIFT는 오프라인으로 사전 학습된 연속 시간 마르코프 체인(CTMC) 정책을 장점 가중 이산 흐름 매칭 손실로 업데이트하여, 유용한 기존 지식을 보존하면서도 새로운 상호작용으로부터 성능을 개선할 수 있게 합니다.

핵심 포인트

• DRIFT는 오프라인 사전 학습된 CTMC 정책을 온라인으로 미세 조정하는 방법론입니다.
• 장점 가중 이산 흐름 매칭 손실(advantage-weighted discrete flow matching loss)을 사용하여 업데이트를 수행합니다.
• 경로 공간 페널티(path-space penalty)를 추가하여 기존의 유용한 CTMC 궤적 분포 지식을 보존합니다.
• 이 방법은 생성기가 결정론적 기준선보다 빠르게 변화하는 보상에 적응할 수 있음을 실험적으로 입증했습니다.