RLVR 유도 추론을 위한 메커니즘 가이드 선택적 언러닝 (Mechanism-Guided Selective Unlearning)

우리는 표준 전체 파라미터 업데이트 (full-parameter updates)보다 부수적 피해 (collateral damage)를 실질적으로 낮추면서, RLVR (Reinforcement Learning from Verifiable Rewards) 유도 추론을 언러닝 (unlearning)하기 위한 메커니즘 가이드 방식인 MAST (Mechanism-Aligned Selective Targeting)를 제안합니다. Qwen2.5-Math-1.5B 및 Qwen3-1.7B-Base의 매칭된 SFT/RLVR 체크포인트에서, SFT에서 RLVR로의 증분은 토큰 수준의 델타 로그 확률 (delta-log-probability) 측면에서 SFT 업데이트와 급격히 다르게 나타나며, 전체 파라미터 경사 상승법 (full-parameter gradient ascent)은 MATH 및 GSM8K 유지 (retain) 성능을 손상시키면서 망각 (forget)을 수행합니다. MAST는 어텐션 투영 텐서 (attention-projection tensors)를 비주성분 에너지 (off-principal energy), 업데이트 크기 (update magnitude), 그리고 망각 경사 결합 크기 (forget-gradient coupling magnitude)에 따라 순위를 매긴 후, 상위 순위의 서브셋 (subset)만을 업데이트합니다. 주요 모델에서 MAST는 통계적으로 유의미한 타겟 망각 (target forgetting)을 유도하는 동시에 (MATH 망각 45/150에서 37/150으로; McNemar p=0.0078), GSM8K (+0.8 pp) 및 MATH 유지 (-0.5 pp) 성능을 보존합니다. 이러한 이점은 다양한 시드 (seeds), NPO/SimNPO 목적 함수 (objectives), 그리고 MAST가 GSM8K를 보존하는 반면 전체 파라미터 언러닝은 이를 붕괴시키는 Qwen3 모델 전반에 걸쳐 재현됩니다.