검증 가능한 보상을 통한 강화학습 (Reinforcement learning from verifiable rewards, RLVR)은 장기적 (long-horizon) 상호작용 과제에서 대규모 언어 모델 (Large Language Model, LLM) 에이전트를 개선하기 위한 유망한 패러다임입니다. 그러나 부분적으로 관찰 가능한 (partially observable) 환경에서는 불완전한 관측으로 인해 에이전트의 신념 (beliefs)이 시간이 지남에 따라 드리프트(drift)되고, 지연된 보상은 중간 결정의 인과적 영향을 모호하게 만들어 시간적 신용 할당 (temporal credit assignment) 문제를 악화시킵니다. 이를 해결하기 위해, 우리는 상호작용 이력을 요약하고 후속 정책 학습을 안내하기 위해 구조화된 신념 상태 (belief states)를 명시적으로 모델링하는 프로세스 수준의 강화학습 알고리즘인 ReBel (Reward Belief)을 제안합니다. ReBel은 신념 일관성 감독 (belief-consistency supervision)을 도입하여, 외부의 단계별 주석이나 검증기 (verifiers)를 필요로 하지 않고 예측된 신념과 관찰된 피드백 사이의 불일치를 조밀한 자기 지도 신호 (dense self-supervised signals)로 변환합니다. 또한 유사한 신념 상태 하에서의 궤적 (trajectories)을 비교하는 신념 인식 그룹화 (belief-aware grouping)를 채택하여, 더욱 견고하고 분산이 낮은 어드밴티지 추정치 (advantage estimates)를 생성합니다. 우리는 ALFWorld 및 WebShop을 포함한 도전적인 장기적 벤치마크에서 ReBel을 평가합니다. ReBel은 에피소드 수준의 베이스라인인 GRPO에 비해 과업 성공률을 최대 20.4 퍼센트 포인트 향상시켰으며, 샘플 효율성 (sample efficiency)을 2.1배 증가시켰습니다. 이러한 결과는 신념 인식 자기 지도 학습 (belief-aware self-supervision)이 부분적 관찰 가능성 하에서 신뢰할 수 있는 장기적 의사결정을 위한 유망한 방향임을 시사합니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/Fateyetian/Rebel.git.