추론이 정렬을 유지하는가? 대규모 추론 모델(Large Reasoning Models)의 신뢰성에 대하여

지시어 튜닝된(Instruction-tuned) LLM은 다단계 작업 성능을 향상시키기 위해 사후 학습(post-training)을 통해 점점 더 많은 추론 모델로 전환되고 있습니다. 이러한 전환은 대개 추론 정확도에 최적화되어 있으며, 안전한 거부(safe refusal), 편향 회피(bias avoidance), 개인정보 보호(privacy protection)와 같이 지시어 튜닝된 모델이 가진 정렬(alignment) 동작을 명시적으로 보존하지는 않습니다. 우리는 질문합니다: 이 전환 과정이 정렬을 유지하는가? 우리는 신뢰성 감사(trustworthiness audit)를 통해 이 문제를 연구하며, 이것이 기본적으로 동작을 보존하지 않는다는 것을 발견했습니다. 체계적인 분석을 위해, 우리는 지도 미세 조정(supervised fine-tuning), RL 기반 사후 학습(RL-based post-training), 그리고 증류(distillation)를 통해 생성된 추론 모델을 안전성(safety), 독성(toxicity), 고정관념 및 편향(stereotyping and bias), 기계 윤리(machine ethics), 개인정보 보호(privacy), 분포 외 강건성(out-of-distribution robustness)의 6가지 신뢰성 차원에서 일치하는 지시어 튜닝된 베이스라인과 비교합니다. 우리는 추론 모델이 추론 벤치마크에서는 종종 성능이 향상되지만, 독성 증가, 고정관념 증폭, 잘못 보정된 거부(miscalibrated refusal), 문맥적 개인정보 유출을 포함한 정렬 퇴보(alignment regressions)를 보인다는 것을 관찰했습니다. 이러한 퇴보는 KL 발산(KL divergence)으로 측정된 지시어 튜닝된 베이스라인으로부터의 행동 드리프트(behavioral drift)와 일치합니다. 전반적으로, 우리의 결과는 신뢰성 지표가 추론 모델을 평가하는 데 필수적이며, 추론 능력의 향상과 함께 보고되어야 한다는 더 넓은 결론을 시사합니다.