숨겨진 상태 재귀(Hidden-State Recurrence)의 신비 해제: 온폴리시 강화학습(On-Policy Reinforcement

요약

잠재 사고 사슬(Latent CoT)을 표준 온폴리시 강화학습으로 최적화하기 위해 경계 토큰을 사용하는 SWITCH 프레임워크를 제안합니다. 이 방식은 추론 압축과 기계론적 분석 가능성을 동시에 확보하며 기존 방식보다 뛰어난 성능을 보입니다.

핵심 포인트

• 경계 토큰(<swi>, </swi>)을 통해 잠재 추론을 표준 RL과 호환 가능하게 구현
• Switch-GRPO 목적 함수를 사용하여 가시적-잠재적 커리큘럼 학습 수행
• 잠재 단계가 단순 자리 표시자가 아닌 인과적으로 중요한 계산을 수행함을 증명
• 기계론적 분석을 통해 학습된 전환 정책의 국소화 및 작동 원리 규명