테스트 시간 강화학습의 스퓨리어스 신호 완화: DDRL 프레임워크

테스트 시간 강화학습(Test-time Reinforcement Learning, TTRL)은 추론 시점에 pseudo-labeling 기법을 통해 모델을 지속적으로 적응시키는 강력한 방법이지만, 이 과정에서 발생하는 레이블 노이즈에 기반한 스퓨리어스 최적화 신호(spurious optimization signals)에 매우 취약하다는 근본적인 문제를 안고 있습니다.

저자들은 실증 연구를 통해 이러한 문제의 원인을 분석했습니다. 그 결과, 응답 일관성(consistency)이 중간 정도인 샘플들이 '모호성 영역(ambiguity region)'을 형성하며, 이것이 보상 노이즈(reward noise)의 주요 근원지임을 밝혀냈습니다. 더욱 심각한 문제는 이러한 스퓨리어스 신호가 그룹 상대 우위 추정(group-relative advantage estimation)과 같은 방식으로 증폭될 수 있다는 점입니다.

이에 대한 해결책으로, 저자들은 **DDRL (Debiased and Denoised test-time Reinforcement Learning)**이라는 통합 프레임워크를 제안합니다. DDRL은 세 가지 핵심 단계로 구성되어 TTRL의 안정성을 획기적으로 개선합니다.

1. 주파수 기반 샘플링 전략 (Frequency-based Sampling Strategy): 첫 번째 단계는 모호한(ambiguous) 샘플들을 효과적으로 제외하는 데 중점을 둡니다. 이 과정은 단순히 노이즈를 제거할 뿐만 아니라, 양성 및 음성 예시(positive and negative examples)의 균형을 유지하여 학습 데이터셋의 질을 높입니다.

2. 디바이어스 우위 추정 (Debiased Advantage Estimation): 두 번째 핵심은 정책 최적화 과정에서 발생하는 편향을 제거하는 것입니다. 기존 TTRL 방식이 그룹 상대 정책 최적화를 통해 도입하는 편향(bias)을 제거하기 위해, DDRL은 고정된 우위(fixed advantages)를 채택하여 이를 보완합니다.

3. 합의 기반 오프라인 정제 (Consensus-based Off-policy Refinement): 마지막 단계는 거부 샘플링(rejection-sampled dataset)을 활용하는 '합의 기반' 접근 방식을 도입합니다. 이 과정을 통해 모델 업데이트가 더욱 효율적이고 안정적으로 이루어지게 됩니다.

다양한 수학 추론 벤치마크를 사용하고 세 가지 대규모 언어 모델(LLM)에 걸쳐 실험을 진행한 결과, DDRL이 기존의 TTRL 베이스라인들보다 일관되게 우수한 성능을 입증했습니다. 이 연구는 테스트 시간 적응 과정에서 발생하는 노이즈와 편향 문제를 체계적으로 해결함으로써, LLM 기반 추론 시스템의 신뢰도를 높이는 데 중요한 기여를 할 것으로 기대됩니다.