맞춤형 강화학습 (RL) 보상은 하이브리드 언어 모델의 휴면 상태인 THINK 회로를 재활성화하여, 답변 품질을 손상시키지 않으면서 사고 과정 (chain-of-thought, CoT) 흔적을 약 3분의 2만큼 줄입니다. 놀라운 점은 사소한 보상 신호의 재설계가 단순히 행동을 유도하는 것을 넘어, 모델이 이미 가지고 있던 내부 추론 모드를 부활시킨다는 것입니다.
이러한 연구 이전에는 실무자들이 모델에게 전체 CoT 시퀀스를 강제하거나, 모델의 잠재적인 THINK 경로와는 전혀 관련 없는 정적 휴리스틱에 의존했습니다. RL은 NO-THINK 환경에서 성능을 개선하는 데 인기가 있었지만, 그 이득은 기존 추론 능력을 되찾았기보다는 새로 학습된 정책 덕분으로 여겨졌습니다.
RLCD²는 생성 한도 내에서 완료되는 추론 흔적의 비율을 최대 48%포인트까지 높이고, 평균 흔적 길이를 최대 65%까지 줄이는 동시에 결정 정확도를 크게 유지합니다. 9B 파라미터 모델의 경우, 종료율이 45.9%에서 93.9%로 상승하고, 평균 흔적 길이가 2,494 토큰에서 868 토큰으로 떨어져 전체적으로 65% 감소했습니다 []1.
8B 체크포인트의 경우 THINK 성공률이 50%에서 94%로 급증했으며, 4B 모델에서는 86%, 1.7B 모델에서는 84%로 유사한 증가를 보였습니다. 이는 RL 학습 후 응답이 대부분의 쌍별 비교에서 원래의 NO-THINK 출력보다 더 THINK와 유사하게 평가됨을 의미합니다 []2.
“원래 방식에서 RL 패치(Original-to-RL patching)를 통해 think 서브스페이스에 적용했을 때 정확도가 0.244로 낮아지며, RL 이득의 75%가 제거되고, 응답 길이는 7.0k 토큰에서 4.2k 토큰으로 감소하며, 반성 단어(reflection words)는 응답당 13.0개에서 3.9개로 감소했습니다”—이 실험은 보상 유도 성능 향상이 저차원 THINK 관련 활성화 서브스페이스와 직접적으로 연결됨을 보여줍니다 []2.
이러한 결과는 특정 하이브리드 아키텍처(Qwen3 시리즈 및 StartLux-Decision)와 해당 벤치마크 스위트—Qwen3 실험을 위한 산술 및 도구 사용 평가, 그리고 StartLux-Decision의 Decision Index나 DecisionPivot과 같은 의사 결정 벤치마크—에 국한됩니다. 따라서 동일한 보상 설계(reward shaping)가 순수 디코더 전용 모델이나 다른 작업 영역으로 이전될 수 있을지는 여전히 불분명합니다. 게다가, 보고된 '정확도를 크게 유지함'이라는 내용은 고위험 애플리케이션에서 중요할 수 있는 미미한 하락을 가리고 있으며, 아직 완전히 매핑되지 않은 트레이드오프 곡선이 있음을 시사합니다.
만약 추론 단계(reasoning steps)의 65% 감소가 배포 전반에 걸쳐 유지된다면, 개발자들은 기본 모델을 재훈련할 필요 없이 (think-leakage 저장소에서 제공되는) Qwen3 모델용으로 공개된 LoRA 어댑터를 교체함으로써 추론 지연 시간(inference latency)과 토큰 처리 비용을 대폭 절감할 수 있습니다. 이 저렴한 사후 조정(post-hoc tweak)은 값비싼 사고의 연쇄(chain-of-thought) 파이프라인을 더 간결하고 빠른 의사 결정 엔진으로 변모시킵니다.
참고 문헌
- StartLux-Decision: 강화학습 (Reinforcement Learning)을 이용한 보정된 숙고적 의사 결정을 위한 AutoThink Decision Models
- LLM을 위한 강화학습에서의 사고 누출(The Thinking Leakage in Reinforcement Learning for LLMs)