통합 전 분리: SFT 및 RLVR 작업 벡터의 추론 시간 합성

SFT (강화학습) 와 RLVR (Reasoning with Verification) 는 LLM (Large Language Model) 후 훈련 과정에서 두 가지 근본적이면서도 구별되는 패러다임을 나타냅니다. 각각은 고유한 차원에서 뛰어난 성능을 발휘합니다. SFT 는 지식의 폭을 확장하는 반면, RLVR 은 추론의 깊이를 강화합니다. 그러나 이러한 보완적인 강점을 통합하는 것은 여전히 formidable(거대한) 도전 과제입니다. 순차적 훈련은 재앙적 망각 (catastrophic forgetting) 을 초래할 수 있으며, 연동 최적화는 심각한 그래디언트 충돌을 겪습니다.

우리는 작업 벡터의 관점에서 SFT 와 RLVR 을 분석하여 이러한 실패 뒤에 있는 세 가지 구조적 특성을 드러냈습니다: 30* 크기의 차이 (magnitude disparity), 45* 부호 간섭 (sign interference), 그리고 이질적인 모듈별 업데이트 분포 (heterogeneous module-wise update distributions). 이러한 발견은 SFT 와 RLVR 을 직접 통합하기 어렵다는 것을 보여주지만, 두 패러다임이 모델의 부분적으로 보완적인 구성 요소를 수정한다는 것을 시사합니다.

이러한 관찰을 바탕으로, 우리는 추론 시간 합성 (inference time synthesis) 을 가능하게 하는 후속 프레임워크인 Decoupled Test-time Synthesis (DoTS) 를 제안했습니다. DoTS 는 SFT 와 RLVR 체크포인트를 독립적으로 훈련시키고, 모델 파라미터를 업데이트하지 않고도 추론 시간을 통해 작업 벡터 연산을 통해 두 패러다임의 능력을 합성합니다.

간섭을 줄이기 위해 DOTS 는 노름 보존 재스케일링 (norm-preserving rescaling) 을 적용한 선택적 희소화 (selective sparsification) 를 사용합니다. 그런 다음, 일관성과 perplexity(불확실성) 의 파레토 전선 (Pareto frontier) 에서 조합 계수를 찾기 위해 소수의 라벨 없는 쿼리 (unlabeled queries) 에 대한 베이지안 최적화를 수행합니다.

경험적으로, oours 은 여러 수학적 추론 벤치마크에서 훈련 기반 SFT--RLVR 통합 방법의 성능과 일치하거나 초과하며, 계산 비용은 약 3% 만 발생합니다. 더 강한 후 훈련 체크포인트에 적용될 때, DOTS 는 SOTA (State-of-the-Art) 모델을 능가하고 재 튜닝 없이 도메인 밖 벤치마크 (out-of-domain benchmarks) 에 일반화합니다. 코드는 https://github.com/chaohaoyuan/DoTS 에서 이용 가능합니다.