Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
강화학습에서 도메인 간 역학 불일치 문제를 해결하기 위해 확산 모델을 활용한 DADiff 프레임워크를 제안합니다. 생성 궤적의 차이를 이용해 역학을 추정하고, 보상 수정 및 데이터 선택 방식을 통해 타겟 도메인으로의 정책 적응을 수행합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기소스(source) 도메인과 타겟(target) 도메인 사이의 역학 불일치(dynamics mismatch)로 인해, 도메인 간 정책 전이(Transferring policies)는 강화학습 (Reinforcement Learning)에서 매우 중요한 과제입니다. 본 논문에서는 충분한 데이터가 있는 소스 도메인에서 정책을 학습시키되, 타겟 도메인과는 제한된 상호작용만을 허용하는 온라인 역학 적응 (online dynamics adaptation) 설정을 고려합니다. 기존 연구 중에는 도메인 분류기 (domain classifiers), 가치 가이드 데이터 필터링 (value-guided data filtering), 또는 표현 학습 (representation learning)을 사용하여 역학 불일치를 해결하려는 시도들이 있었습니다. 대신, 우리는 생성 모델링 (generative modeling) 관점에서 도메인 적응 문제를 연구합니다. 구체적으로, 우리는 다음 상태 (next state)의 생성 과정에서 소스 도메인과 타겟 도메인의 생성 궤적 (generative trajectories) 간의 차이를 활용하여 역학 불일치를 추정하는 확산 모델 기반 프레임워크인 DADiff를 소개합니다. 정책을 타겟 도메인에 적응시키기 위해 보상 수정 (reward modification) 및 데이터 선택 (data selection) 변형 방식이 모두 개발되었습니다. 또한, 두 도메인 사이에서 주어진 정책의 성능 차이가 생성 궤적 편차 (generative trajectory deviation)에 의해 제한됨을 보여주는 이론적 분석을 제공합니다. 변형 방식들의 적용 가능성과 우리의 이론적 분석 및 이전 연구 간의 연결 고리에 대한 추가적인 논의도 제공됩니다. 우리는 다양한 변화(shifts)가 있는 환경에서 광범위한 실험을 수행하여 우리 방법론의 효과를 검증했습니다. 결과는 우리 방법이 기존 방식들과 비교하여 우수한 성능을 제공하며, 역학 불일치를 효과적으로 해결함을 보여줍니다. 우리 방법의 코드는 https://github.com/hanyang-chen/DADiff-release 에서 확인할 수 있습니다.