통합 전 분리: SFT 및 RLVR 작업 벡터의 추론 시간 합성

요약

본 논문은 대규모 언어 모델(LLM)의 후속 훈련 과정에서 SFT와 RLVR이라는 두 가지 핵심 패러다임을 통합하는 어려움을 다룹니다. 기존 방식들이 재앙적 망각이나 그래디언트 충돌 같은 문제를 겪는 근본적인 이유를 작업 벡터 분석을 통해 밝혀냈습니다. 이를 해결하기 위해, 연구진은 모델 파라미터를 업데이트하지 않고도 추론 시간 합성(inference time synthesis)을 통해 두 패러다임의 능력을 결합하는 새로운 프레임워크인 DoTS(Decoupled Test-time Synthesis)를 제안했습니다.

핵심 포인트

• SFT와 RLVR은 각각 지식 확장과 추론 심화라는 고유한 강점을 가지지만, 직접적인 통합 훈련은 재앙적 망각 및 그래디언트 충돌 문제를 야기한다.
• 작업 벡터 분석을 통해 SFT와 RLVR의 차이점(magnitude disparity), 부호 간섭(sign interference) 등 구조적 문제들이 확인되었다.
• 제안된 DoTS 프레임워크는 모델 파라미터 업데이트 없이 추론 시간 연산을 통해 두 패러다임의 능력을 합성하여 성능을 향상시킨다.
• DoTS는 노름 보존 재스케일링과 베이지안 최적화를 사용하여 간섭을 줄이고, 기존 SOTA 방법보다 우수한 성능과 일반화 능력을 보여준다.