정렬세는 등급이 있다: SFT 유지 및 길이 정규화된 DPO 하에서의 작업 선택적 능력 손실

설정(Setting). 본 연구는 경험적 특성 분석 연구이며, 새로운 방법론을 제안하거나 대체 목적 함수와 비교를 수행하지 않습니다. 구조화된 금융 보고서 작업에 Qwen3.5-4B 모델을 sparse LoRA 및 길이 정규화 DPO와 SFT 유지 항(RPO 목적 함수)으로 미세 조정하고, 암묵적 보상 마진이 $\sim 7$ $\beta$-스케일 단위로 증가함에 따라 다운스트림 능력을 추적합니다 (nf4 학습; 비양자화 베이스 모델의 fp16 측정 시 $\sim 3$).

질문(Question). 마진 증가가 작업 전반에 걸쳐 균일하게 능력을 저하시키는지, 아니면 선택적으로 저하시키는지?

발견(Findings). 사전에 등록된 연구(8개 시드, 동결 시 6개 미확인)에서 아티팩트 인식 점수 및 TOST 등가성 테스트를 수행한 결과, 정렬세는 등급이 있으며 작업 선택적입니다. 추출(extraction)은 보존되었고 ($\Delta= -0.55$ pts, $\pm5$ pts에서 동등), json은 거의 손실되지 않았으며 ($\Delta= -3.52$ pts, 클러스터링된 항목별 구간에서 등가성 실패), 라우터(router)는 심각하게 저하되었습니다 ($\Delta= -30$ pts). 라우터의 손실은 일시적인 형식 오류 스파이크를 포함하는 마진 1-3 피해 창에 집중됩니다. 이 마진은 거의 전적으로 ($\geq 96%$)
거부된 완료(rejected completions)의 억제에 의해 설명되며, 선택된 보상은 대략 평평하여 유지 항이 이를 고정하는 것과 일치합니다; 우리는 행동상의 손상을 단일한 기울기 채널로 귀속시키지 않습니다. Gold-logp 감소는 작업 선택적입니다 (추출 $-0.15$, json $-1.04$, 라우터 $-1.47$ nats/token, fp16 하에서). 추출에 대한 잘못된 제어(incorrect controls)와 비교했을 때 gold가 선택적으로 보호되었습니다 (8/8 시드). QLoRA 보상 마진은 nf4 학습과 비양자화 fp16 측정 사이에 최대 $3.4\times$ 차이를 보이며, 축 의존적인 격차가 존재합니다.

범위(Scope). SFT 유지와 길이 정규화된 보상, 8/32 레이어에 대한 sparse LoRA 적용, 단일 4B 모델, 쉽게 분리 가능한 합성 선호도, 세 가지 구조화된 작업. 유지(retention)가 없는 제어군과 측정된 형식-정렬 지표는 향후 연구로 남겨둡니다.