Market-Alignment Risk in Pricing Agents: Trace Diagnostics and Trace-Prior RL

요약

본 논문은 수익 관리 에이전트(Pricing Agents)가 시장 환경에 적응하는 과정에서 발생하는 '시장-정렬 위험(Market-Alignment Risk)' 문제를 다룹니다. 기존의 표준 RL 에이전트는 목표 지표(예: RevPAR)는 달성할 수 있지만, 실제 시장과 유사한 가격 책정 전략을 학습하지 못하고 과도하게 공격적이거나 비현실적인 행동을 보입니다. 이를 해결하기 위해 'Trace-Prior RL'이라는 새로운 프레임워크를 제안합니다. 이 방법은 지연된 시장 트레이스에서 분포적 시장 전제(Distributional Market Priors)를 먼저 학습한 후, 실제 보상과 KL 페널티를 적용하여 확률적 가격 정책을 훈련함으로써, 에이전트가 목표 성능을 달성하는 동시에 시장의 현실적인 행동 패턴을 따르도록 합니다.

핵심 포인트

• 표준 RL 에이전트는 단일 스칼라 보상(예: RevPAR)에만 의존할 경우, 실제 시장에서 관찰되는 합리적이고 분포적인 가격 책정 전략을 학습하지 못하는 한계가 있다.
• 문제는 부분적으로 관측 가능한 상태 하에서의 'Goodhart 스타일 실패'로 진단되며, 에이전트가 경쟁자의 전체 시장 상황(재고, 예약 곡선 등)을 알지 못하기 때문에 발생한다.
• 제안된 Trace-Prior RL은 지연된 시장 트레이스에서 분포적 시장 전제를 학습하고, 이를 확률적 가격 정책 훈련에 통합하여 시장 현실성을 높인다.
• 이 접근 방식은 단순히 새로운 옵티마이저나 리더보드를 제공하는 것이 아니라, 스칼라 보상만으로는 포착하기 어려운 에이전트 시스템의 재현 가능한 실패 및 수정 레시피를 제시한다.