숨겨진 상태 재귀(Hidden-State Recurrence)의 신비 해제: 온폴리시 강화학습(On-Policy Reinforcement
요약
잠재 사고 사슬(Latent CoT)을 표준 온폴리시 강화학습으로 최적화하기 위해 경계 토큰을 사용하는 SWITCH 프레임워크를 제안합니다. 이 방식은 추론 압축과 기계론적 분석 가능성을 동시에 확보하며 기존 방식보다 뛰어난 성능을 보입니다.
핵심 포인트
- 경계 토큰(<swi>, </swi>)을 통해 잠재 추론을 표준 RL과 호환 가능하게 구현
- Switch-GRPO 목적 함수를 사용하여 가시적-잠재적 커리큘럼 학습 수행
- 잠재 단계가 단순 자리 표시자가 아닌 인과적으로 중요한 계산을 수행함을 증명
- 기계론적 분석을 통해 학습된 전환 정책의 국소화 및 작동 원리 규명
잠재 사고 사슬(Latent chain-of-thought)은 가시적인 추론 흔적(reasoning traces)을 연속적인 숨겨진 상태 재귀(hidden-state recurrence)로 대체하여 추론을 압축하지만, 기존의 공식들은 표준적인 온폴리시 강화학습 (on-policy RL)으로 최적화하기 어렵고 인과적으로 해석하기 까다롭습니다. 우리의 핵심 통찰은 단 한 쌍의 명시적인 경계 토큰(boundary tokens)이 이 두 가지 문제를 동시에 해결할 수 있다는 것입니다. 이산적인 진입 및 종료 앵커(entry and exit anchors)는 잠재 블록(latent block)을 표준 온폴리시 RL과 호환 가능하게 만들며, 동일한 앵커는 기계론적 분석(mechanistic analysis)을 위한 자연스러운 발판을 제공합니다. 이에 착안하여, 우리는 전환 가능한 잠재 추론 프레임워크인 SWITCH를 제안합니다. 모델은 잠재 모드에 진입하기 위해 <swi>를 방출하고, 종료하기 위해 </swi>를 방출합니다. 경계가 일반적인 이산 토큰이기 때문에, 모든 결정 지점에서 GRPO 정책 비율(policy ratio)이 잘 정의됩니다. 동일한 앵커는 또한 잠재 단계(latent steps)를 직접적인 프로빙(probing)과 인과적 개입(causal intervention)에 노출시킵니다. 우리는 가시적-잠재적 커리큘럼(visible-to-latent curriculum)과 재귀적 잠재 계산을 통해 그래디언트(gradients)를 전파하는 Switch-GRPO 목적 함수를 사용하여 모델을 학습시킵니다. SWITCH는 유사한 규모에서 기존의 숨겨진 상태 재귀 잠재 추론 방식들을 일관되게 능가합니다. 경계 토큰을 통한 기계론적 분석은 다음과 같은 세 가지 발견을 추가로 보여줍니다: (i) <swi>는 스타일적인 인위적 산물(stylistic artefact)이 아니라 날카롭게 국소화된 학습된 전환 정책(switching policy)입니다; (ii) 이 토큰이 여는 잠재 단계는 불활성 자리 표시자(inert placeholder)로 작동하는 대신, 문제 특화적이고 인과적으로 중요한 계산을 수행합니다; (iii) 해당 계산은 진입 시 단일 숨겨진 상태 전이(hidden-state transition)에 집중되어 있습니다. 종합하면, 이러한 결과들은 숨겨진 상태 재귀 잠재 추론이 RL로 학습 가능할 뿐만 아니라, 온폴리시 RL 자체가 내부적으로 모델을 어떻게 개선하는지를 포함하여 직접적인 기계론적 분석이 가능하다는 것을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기