RHyVE: 강화학습용 LLM 생성 보상 가설에 대한 능력 기반 검증 및 학습 단계별 배포

대형 언어 모델 (LLMs) 은 강화학습에서의 보상 설계 (reward design) 를 현저히 확장 가능하게 만들지만, 생성된 보상이 자동으로 신뢰할 수 있는 학습 목표가 되는 것은 아닙니다. 기존 연구는 주로 보상 후보를 생성하거나 진화시키거나 선택하는 데 초점을 맞추었으며, 정책 최적화 (policy optimization) 도중 이러한 후보를 검증하고 배포할 때기를 덜 고려했습니다. 우리는 생성된 보상을 현재 정책의 능력 (competence) 과 학습 단계 (phase) 에 따라 그 유용성이 달라지는 보상 가설 (reward hypotheses) 로 간주함으로써 이 배포 시점의 문제를 연구합니다. 우리는 공유된 정책 체크포인트에서 소규모의 보상 가설 집합을 짧은 수평 분기 검증 (short-horizon fork verification) 을 사용하여 비교하는 능력 기반 검증 및 학습 단계별 배포 프로토콜인 \textsc{RHyVE} 를 제안합니다. 우리의 실험 결과에 따르면, 낮은 능력 수준에서는 보상 순위 (reward rankings) 가 신뢰할 수 없으나 작업 의존적 임계값 이후에는 정보량이 있습니다. 희소 조작 작업 (sparse manipulation task) 에서 단계별 배포는 잠금된 프로토콜 하에서 정점 성능과 유지 성능을 개선합니다. 업데이트된 LLM 생성 보상 후보 실험은 후보 집합에 따른 행동 (candidate-family-dependent behavior) 을 보여줍니다: 생성된 풀은 학습 단계에 따른 승자 변경을 나타낼 수 있으나, 고정된 워밍업 스케줄이 보편적으로 최적은 아닙니다. 홀드아웃 스케줄 선택, 보수적 선택기 베이스라인, 컴퓨트 매칭 컨트롤, 그리고 스케일 컨트롤은 추가로 \textsc{RHyVE} 를 보편적인 스케줄러가 아니라 검증에 기반한 배포 프로토콜로 가장 잘 이해해야 함을 보여줍니다. 밀집 및 전 실패 경계 실험은 이 방법의 범위를 한정합니다. 이러한 결과들은 보상 생성과 보상 배포를 결합된 문제로 연구해야 함을 시사합니다: 생성된 보상은 변화하는 정책 능력 하에서 검증되고 배포되어야 합니다.