다수결이 틀렸을 때, 테스트 시간 강화학습 (Test-Time Reinforcement Learning)의 개입 타이밍은 소멸

테스트 시간 강화학습 (Test-Time Reinforcement Learning, TTRL)은 다수결 (Majority Vote)을 의사 라벨 (Pseudo-label) 신호로 사용하여 수학적 추론 벤치마크에서 상당한 정확도 향상을 보고하고 있습니다. 우리는 이러한 이득이 체계적으로 오해되고 있다고 주장합니다. 대부분의 향상은 진정한 학습이라기보다는 이미 해결 가능한 문제들을 더 날카롭게 다듬는 것을 반영하며, 정답에서 오답으로 오염된 문제의 수가 진정으로 학습된 문제보다 더 많습니다. 또한, 다수결이 잘못된 정답에 고착되면 이러한 손상은 되돌릴 수 없습니다. 문제별 추적 결과, 낮은 능력의 문제에서 정답 신호는 영구적으로 억제되기 전에 잠시 활성화되는데, 우리는 이 현상을 extit{정답 소멸 창 (Correct-Answer Extinction Window)}이라 명명하며, 플립 비율 (Flip Rate, FR)을 그 주요 지표로 삼습니다. 이에 따라 우리는 소멸 창을 겨냥한 세 가지 메커니즘을 갖춘 경량 프레임워크인 extbf{TTRL-Guard}를 제안합니다: FR이 감소함에 따라 위험이 있는 업데이트의 가중치를 낮추는 플립 비율 인지 보상 스케일링 (Flip-Rate-Aware Reward Scaling, FRS), 소수 정답의 그래디언트 (Gradient) 신호를 유지하는 소수 보존 샘플링 (Minority-Preserving Sampling, MPS), 그리고 양극화된 문제에 대한 업데이트를 중단하는 위험 조건부 희소 업데이트 (Risk-Conditioned Sparse Updatings, RCSU)입니다. 세 가지 모델과 네 가지 벤치마크에 걸친 실험 결과, TTRL-Guard는 Qwen2.5-7B-Instruct 및 Qwen3-4B에서 최고의 평균 pass@1을 달성하였으며, AIME 2025에서 TTRL 대비 +54%의 상대적 향상을 보였습니다. ootnote{저희의 코드와 구현 세부 사항은 https://github.com/linhxkkkk/TTRL-Guard 에서 확인할 수 있습니다.}