모든 엔트로피가 같지 않다: 검증 가능한 보상을 가진 강화학습에서의 보상 조건부 엔트로피 할당

정책 엔트로피(Policy entropy)는 검증 가능한 보상을 가진 강화학습 (RLVR)에서 탐색과 붕괴를 진단하는 데 광범위하게 사용되지만, 그 크기가 최적화 목표 전반에 걸쳐 추론 성능을 일관되게 반영하지 못합니다. 우리는 이러한 모호성이 전역 토큰 엔트로피(global token entropy)가 성공한 궤적과 실패한 궤적의 불확실성, 올바른 해법 전략 간의 다양성, 그리고 동일한 전략 실현 간의 변동성을 혼합하기 때문에 발생한다고 주장합니다. 우리는 전체 궤적 엔트로피를 평균 토큰 엔트로피와 분리하고, 불확실성을 검증자 결과 및 프로세스 유효성에 조건화하며, 올바른 해법 모드 유지율을 측정하고, 이러한 모집단 수준의 양들을 국소 공분산 기반 업데이트에 연결하는 계층적 진단 프레임워크인 보상 조건부 엔트로피 할당(Reward-Conditioned Entropy Allocation, RCEA)을 도입합니다. 두 가지 모델 규모에서 여섯 가지 RLVR 목표에 걸쳐 통제된 스윕을 수행한 결과, 엔트로피 궤적이 추론 정확도의 안정적인 순서를 유도하지 않았습니다. 토큰 엔트로피는 광범위하게 분리 집계된 추정치와 공통 질문 쌍 분석 모두에서 검증자 실패 궤적에서 성공 궤적보다 높았으며, 이들 분석의 신뢰 구간은 표시된 12개 종료점 중 10개 지점에서 동등함을 배제했습니다. 국소 공분산 근사치는 비실패 전환의 95.5%에서 인접 체크포인트 엔트로피 변화 방향을 예측했으며, 보상 계층화된 종료점 프록시(endpoint proxy)는 또한 양의 선택 토큰 공분산이 실패한 접두사 내에 더 집중되어 있음을 보여주었습니다. 보고 가능한 모든 훈련된 종료점은 독립적으로 감사된 올바른 해법 모드 폭(correct-solution-mode breadth)에서 어느 정도의 수축을 보였으며, 이는 대규모-(k) 커버리지와의 양의 연관성은 탐색적입니다. 이러한 결과들은 엔트로피 붕괴는 전역 엔트로피만으로가 아니라 어떤 불확실성이 제거되었는지에 의해 진단되어야 함을 보여줍니다.