기존의 방어 기제들은 유해한 콘텐츠가 다운스트림 미세 조정 (fine-tuning) 데이터에 명시적으로 혼합되어 있을 때는 효과적이지만, 정교하게 제작된 샘플들은 대신 무해한 태스크 (tasks) 내부에 유해한 감독 (supervision)을 숨길 수 있습니다. 우리는 유해한 QA 쌍 (QA pairs)이 무해한 학습 샘플 내에 삽입되는 임베디드 공격 (Embedded Attack)을 제안하며, 대표적인 가드레일 (guardrails)들이 예시 수준 (example level)에서 이를 탐지하는 데 종종 실패한다는 것을 보여줍니다. 이를 해결하기 위해, 우리는 토큰 수준의 정규화 (token-level regularization)를 통해 DPO 스타일의 대조적 목적 함수 (contrastive objective) 설계를 SFT에 적응시킨 이중 참조 SFT (Dual-Reference SFT, DR-SFT)를 제안하며, 이는 거친 데이터 필터링 (coarse data filtering)을 넘어 유해한 미세 조정 (harmful fine-tuning)을 완화합니다.