MiRL: 터미널 에이전트 오행동 교정을 위한 오류 목표 강화학습

요약

본 논문은 터미널 에이전트의 장기 지평 작업 중 발생하는 오행동을 교정하기 위한 MiRL(Misbehavior-driven RL)을 제안합니다. MiRL은 정책의 오류를 프로파일링하여 일반화 가능한 오행동을 찾아내고, 이 오행동 회피에 초점을 맞춰 강화학습으로 훈련시킵니다. 실험 결과, MiRL은 기존 모델 대비 높은 성능 향상을 보이며 실용성을 입증했습니다.

핵심 포인트

• 오류 목표 학습(Error-targeted learning)을 터미널 에이전트에 적용함.
• MiRL은 정책의 오류를 프로파일링하여 오행동을 식별합니다.
• 오행동 회피 시에만 보상하는 방식으로 RL 훈련을 진행합니다.
• MiRL로 훈련된 정책은 관찰되지 않은 환경에서 오행동 반복률이 감소했습니다.