모든 추론이 일반화되지 않는다: RLVR에서 일반화 가능한 추론 전략 학습에 대한 사례 연구

검증 가능한 보상을 이용한 강화학습(Reinforcement learning with verifiable rewards, RLVR)은 대규모 언어 모델(LLM)의 추론 능력에 일반화 가능한 개선을 가능하게 할 수 있습니다. 본 논문은 추론 전략을 통해 이러한 일반화를 어떻게 장려할 수 있는지 연구합니다. 우리는 제어 가능한 방정식 풀이 프레임워크를 사용하여 이 질문을 연구하는데, 이는 $f$가 비단사 함수(non-bijective string function)인 경우에 대해 여러 입력값 $x$를 찾아 방정식 $f(x)=y$를 푸는 것입니다. 이러한 설정은 추론 전략을 관찰 가능하게 만들면서도, 예를 들어 해의 개수 증가나 $y$ 값의 길이 증가와 같은 명확한 쉬운-어려운 분포 외(Out-of-distribution, OOD) 변화를 지원합니다.

우리는 RLVR의 미묘한 실패 사례를 발견했습니다. 즉, 모델이 인-분포(in-distribution) 작업에서는 높은 정확도와 구조화된 단계별 추론을 통해 해결하도록 학습하지만, OOD 변화가 발생하면 동일한 모델이 추론 과정을 포기하고 비효율적인 무차별 대입(brute-force enumeration)에 빠져 급격한 정확도 하락을 초래한다는 것입니다. 이러한 관찰은 RLVR의 일반화에 대한 더 깊은 과제를 드러냅니다. 왜냐하면 이 실패는 모델이 인-분포에서 올바른 추론 전략으로 성공하기 때문에, 단순히 능력이 부족한 기본 모델(incapable base model)이나 보상 해킹(reward hacking) 문제로만 볼 수 없기 때문입니다.

이러한 실패를 완화하는 핵심은 놀랍게도 도움이 되는 간접적인 개입, 즉 생존 가능한 역변환 작업(bijective inversion tasks)을 이용한 공동 학습(co-training)입니다. 비록 이러한 생존 가능 작업들이 실제로는 균일하게 더 어렵거나 비단사 OOD 평가보다 더 멀리 떨어져 있더라도, 이들은 추론 과정을 더욱 확실하게 만들고 OOD 변화 상황에서 올바른 전략과 정확도를 실질적으로 복원합니다. 이러한 효과는 우리의 이론적 분석을 더욱 동기 부여하며, 결과만을 이용하는 RLVR이 과정에 대한 감독 없이도 암묵적으로 효과적인 추론 전략에 신용을 부여함으로써 추론 과정을 형성할 수 있음을 보여줍니다.

결론적으로, 우리의 분석 프레임워크와 발견은 OOD 변화 상황에서 RLVR 일반화에 있어 추론 전략의 결정적인 역할과 이를 장려하는 중요성을 체계적으로 밝혀냅니다. 코드는 https://github.com/ziqipang/rl_meta_thinking 에서 이용 가능합니다.