결과가 올바르게 보이지만 규율이 실패할 때: 숨겨진 경쟁자 상태 하에서의 Trace 기반 평가

결과 중심의 평가 (Outcome-only evaluation)는 경제적으로 안전하지 않은 에이전트 (agents)를 인증할 수 있습니다. 즉, 정책 (policy)이 배포 가능한 행동 규율 (behavioral discipline)을 위반하면서도 비즈니스 KPI를 달성할 수 있다는 것입니다. 숨겨진 경쟁자 상태 (hidden competitor state)가 존재하는 호텔 가격 책정 (hotel pricing) 환경에서, 학습자는 규칙 기반의 수익 관리 (revenue-management) 경쟁자의 요율 규율 (rate discipline)을 유지하는 데 실패하면서도 객실당 매출 (revenue per available room)을 그럴듯하게 달성할 수 있습니다.

우리는 Trace 기반 평가 패러다임인 규율 안정성 (discipline stability)을 소개합니다. 벤치마크 행동 (benchmark behavior)을 정의하고, 관측 (observations)을 배포 체제 (deployment regime)로 제한하며, 실패로부터 Trace 진단 (trace diagnostics)을 유도하고, 절제 연구 (ablations)를 통해 메커니즘을 분리하며, 전이 (transfer) 및 배포 (deployment)를 테스트합니다.

두 개의 호텔 벤치마크와 소규모의 숨겨진 예산 입찰 (hidden-budget bidding) 과제를 통해 실험한 결과, 보상 중심의 (reward-only) PPO 변형 모델들은 Trace 정렬 (trace alignment)을 놓치는 것으로 나타났습니다. 숨겨진 상태 (hidden state)를 드러내면 라벨 불확실성 (label uncertainty)이 감소하며, 결정론적 복제 (deterministic copy)는 불확실성을 붕괴시킵니다. 또한, Trace-Prior 또는 교정된 이력 정책 (corrected history policies)이 가격 또는 입찰 분포 (price or bid distributions)를 더 잘 보존합니다. 순수 행동 복제 (Pure behavior cloning)는 대칭적 모방 (symmetric imitation)에 거의 충분한 반면, Trace-Prior RL은 용량 비대칭성 (capacity asymmetry) 하에서 유계된 적응 (bounded adaptation)을 추가합니다. 본 연구의 기여는 새로운 최적화 도구 (optimizer)나 다중 에이전트 강화학습 (MARL)에 대한 보편적인 주장이 아니라, 평가 및 벤치마크 패러다임입니다.